- 博客(14)
- 收藏
- 关注
原创 tensorflow failed to allocate 7.87G
今天跑程序遇到一个问题:tensorflow failed to allocate 7.87G百度查了一下说是gpu的最大内存分配的问题我看了一下我的设置情况:config.gpu_options.per_process_gpu_memory_fraction = 0.999然后我改到了0.7,不再报错然后我又改成了0.9,也不再报错...
2019-05-31 13:45:13
818
原创 在python中使用ffmpeg实现mp4转wav
有时候我们可能需要在python代码中批处理MP4转wav文件,操作如下:for filepath in files: filepath_no_ext = os.path.splitext(filepath)[0] command = "ffmpeg -i"+" "+filepath+" "+"-ar 16000 -vn"+" "+filepath_no_ext+".wav"...
2019-04-27 13:48:11
5775
1
原创 tfrecord读取时因tf.decode_raw的输出类型type导致的shape前后不一致问题
有两次在读取tfrecord中的数据时报shape的问题了!是什么原因呢? 慢慢debug才发现原来是数据类型的原因!!在写入tfrecord时也就是将数据tobytes()的时候数据的类型是float32但是在训练前读取tfrecord中数据tf.decode_raw时,用的是:tf.decode_raw(frames, np.uint8)!!! np.uint8指的是数据流输出np.u...
2019-04-12 15:29:07
1118
原创 sudo: unable to execute /bin/cp: Argument list too long
打算复制大批文件到另一个目录,命令如下:sudo cp*/train/* */fromtrain报错:sudo: unable to execute /bin/cp: Argument list too long解决办法,使用find和xargs:find /train/ -name "" | xargs -i cp -r {} */fromtrain-r的作用时迭代,如果train目...
2019-04-10 16:02:08
1703
原创 STFT(短时傅里叶变换)音频特征提取,用于语音识别 python
在各种音频相关的任务中,不管用什么模型或网络,得到所需的音频特征肯定是必要的一步。下面简单说一下STFT特征一、原始信号在说STFT之前,先说一下读入的原始信号,图像是在XY二维上描述的像素点的集合,相应的,原始音频只需要t一维上描述,从音频文件中读取出来的原始语音信号是一个一维数组,长度是由音频长度和采样率决定,比如采样率Fs为16KHz,表示一秒钟内采样16000个点,这个时候如果音频长度...
2019-04-08 16:35:48
27024
3
原创 ubuntu 缓存清理
ubuntu缓存清理相关小命令:sudo apt-get autoclean 清理旧版本的软件缓存sudo apt-get clean 清理所有软件缓存sudo apt-get autoremove 删除系统不再使用的孤立软件...
2019-04-04 10:39:18
1673
原创 skimage.transform resize 数据类型变化
在对图像进行shape归一化时,用到了skimage.transform resize,但是问题来了,本来是uint8的数据,结果输出为float64的数据,导致后期制作tfrecord时出现了问题,查了半天才发现这里出现了问题...
2019-03-30 11:20:43
9205
2
原创 使用PIL将图片灰度化 python
看网上有很多python环境下对rgb灰度化的处理方法,其中我感觉比较简单的一种方式是使用PIL进行灰度化处理:from PIL import ImageI = Image.open(’***.jpg’)I.show()L = I.convert(‘L’)L.show()或者from PIL import ImageI = Image.open(’***.jpg’).convert...
2019-03-28 10:57:29
4591
1
翻译 tf.nn.conv3d 讲解
tensorflow 中的 tf.nn.conv3dtf.nn.conv3d(input,filter,strides,padding,data_format=‘NDHWC’,dilations=[1, 1, 1, 1, 1],name=None)在生成的文件中定义:tensorflow/python/ops/gen_nn_ops.py。在给定5-D input和filter...
2019-03-25 19:25:22
2053
原创 RGB和gray的2维(D)卷积的map数目
有人问我输入为gray的feature map数目为卷积核filters的数目,那么输入为RGB三通道得到的feature map数目是不是3倍的卷积核个数呢? 其实不是的,依然是feature map的数目等于该层卷积核的个数。输入为gray的一个卷积核大小为(1, height, weight)输入为RGB的一个卷积核大小为(3, height, weight)但是得到的都是一个feat...
2019-03-25 14:55:13
230
原创 os.environ["CUDA_VISIBLE_DEVICES"] 问题
有一次写代码发现明明写的是:os.environ[“CUDA_VISIBLE_DEVICES”] = “0,1,2,3,4,5,6,7”但是却显示只发现了 gpu:0,百思不得其解,百度谷歌都没有发现类似问题,后来检查才发现有一个调用的py文件里写了一句:os.environ[“CUDA_VISIBLE_DEVICES”] = “0”删掉之后,可以发现全部的gpu...
2019-03-15 19:28:51
94157
20
原创 tf.contrib.seq2seq.sequence_loss 中logit和label shape不匹配报错
在训练seq2seq网络时,单个gpu没有问题,但是当处理多个gpu并行时,问题来了:在train时,总会报错:InvalidArgumentError (see above for traceback): logits and labels must have the same first dimension, got logits shape [12,737] and labels sha...
2019-03-15 16:00:22
3513
原创 anaconda3 复制or克隆环境
有的时候我们在使用anaconda3 的虚拟环境时,需要配置一个类似的环境,重新配置的话太过麻烦,因此可以复制或克隆一个类似的环境,然后再相应的删减或增加依赖的包:复制或克隆环境:conda create -n 新环境名称–clone 被克隆环境名称例如,通过克隆tensorflow2来创建一个称为newtensorflow的副本:conda create -n newtensorflow...
2019-03-08 16:07:50
13844
4
原创 Cannot find reference 'bidirectional_dynamic_rnn' in '__init__.py'
用pycharm 写代码的时候遇到了如图中的问题:Cannot find reference ‘bidirectional_dynamic_rnn’ in ‘init.py’搜索了很多相关问题,发现有的人说不用管,有一个博主遇到了dynamic_rnn()的类似问题,说去anaconda\site-packages\tensorflow\nn_init中添加:from tensorflow...
2019-03-08 15:25:51
3350
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人