- 博客(15)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 sd 卡速度问题
首先sd卡的读取速度和写入速度是不同的，读取速度更快。sd卡上标注的 xxMB/s 为读取速度，一般为几十MB/s。sd卡标注的C10，表示了写入速度等级为class 10...
2018-05-31 11:00:47
2808
原创 hadoop中找不到usrelog
1 发现执行完任务之后，usarlog目录下没有该job的log，后来发现是因为我之前在yarn-site.xml中配置了日志聚合功能，执行完任务之后，日志被上传到了hdfs/tmp/logs/root目录下。。。 2 虽然配置了jobhistory，但是发现它好像并不会把每个节点下的log融合，所有我在historyserver里看到的stdout为空，因为它只打开了一个节点下的stdout，...
2018-05-27 15:20:08
229
原创 HIPI的使用
使用的是最新版的github版本，2年前已经停止更新了。 1. 使用 tools/hibImport.sh 这个脚本将图像打包为hib文件时需要先启动hadoop。 2. 生成的hib文件自动上传到了hdfs，执行hibInfo.sh 操作的也是hdfs上的文件...
2018-05-26 17:51:12
1682
原创 训练时dev set太大导致耗时过长
训练时，用dev set评估性能，但是开始是，可以不使用全部的dev set，而是随机选取叫少量，这样能节省时间。
2018-05-15 11:18:49
330
原创 CTC 论文阅读笔记
读语音识别的论文Towards End-to-End Speech Recognition with Recurrent Neural Networks时，看到了这个名词。Sayre’s paradox出现在1973年手写体识别的论文中：A standard statement of the paradox is that a cursively written word cannot ...
2018-05-15 01:47:24
857
原创 将TIMIT转为 .npy
github fork了一个工程，学习了一下代码。这个工程提供了使用多个corpus的例子，我只用了timit，timit是比较老的一个数据集了。TIMIT 下载下来每段语音和其数据放在了很多不同的目录下，并且WAV文件是有一个header的，不能直接播放和读取。另一方面，在训练时，对每段语音来说，并不是直接输入，而是需要进行处理，在NLP中叫做word embedding，把一个词映射为一...
2018-05-07 00:14:11
477
原创 hadoop streaming 调试
写好程序后，可以利用管道符在本地调试在集群上调试时，可以将cat作为mapper或reducer，以查看其他部分的功能
2018-05-04 02:34:34
571
转载 python 添加注释后报错 unexpected indent
多行注释符号本身也需要注意缩进。 下面的内容会根据上面的多行注释符号来判断缩进对齐是否正确。 Python对缩进要求很严格的。
2018-05-03 22:40:50
8343
2
原创 深度学习 val 和 dev
有的工程打印的时 val_acc 和 val_loss ，其实就是开发集的精度和损失。这里 val 指的是 validation , val_acc 和 val_loss 也可以用 dev_acc 和 dev_loss 表示，dev即 development。 ...
2018-05-03 15:14:59
3235
原创 python 引入模块问题
当要引入的模块有多级目录时，每一级都要有一个__init__.py 问 如有： a/b/c/d.py import a.b.c.d 时需要在 a,b,c,d下都有__init__.py要引入指定目录下的模块时，可以设置环境变量 PYTHONPATH， 添加上指定目录即可。然后执行python时，import syssys.path即可看到python会去搜索模块的路径...
2018-05-01 22:27:41
219
原创 ImportError: libcudnn.so.5: cannot open shared object file: No such file or ...
之前用pip install tensorflow 安装了tensorflow 后发现这样安装的是cpu版本。用gpu的话需要先卸载掉，再安装gpu版本 ，参考 https://blog.csdn.net/u012969412/article/details/64502393安装完gpu版本的tensorflow后，import时报错，ImportError: libcudnn.so.5: c...
2018-05-01 16:45:51
3157
原创 ubuntu安装scikits.audiolab
安装scikits.audiolab是为了读取timit中的 .WAV文件参考: 1 python 安装scikits.audiolab记录 2 安装scikits.audiolab安装步骤1 开始使用源码安装不行 2 直接 pip install scikits.audiolab...
2018-05-01 15:17:36
536
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人