2019年07月_wf592523813

原创在Ubuntu 16.04.6上使用tensorflow-GPU出现的问题记录及解决办法

由于需要，实习时在服务器上安装了anaconda3+tensorflow-gpu+keras，使用的时候一直都是使用import osos.environ['CUDA_VISIBLE_DEVICES']=“0”来指定使用第0个gpu，程序也一直是使用GPU加速计算的，但是奇怪的是今天忽然发现程序运行很慢，并且运行时出现“Your CPU supports instructions tha...

2019-07-20 19:53:47 1094

原创 linux vim 多行注释，批量移动文件

linux vim 多行注释ctrl+v 进入到视图模式进行上下移动选择多行：按j或k上下移动(选择文件全文shift+g，被选中文件的行首有明显的变化)按大写I进入insert模式，此时，光标会停在初始位置闪烁,输入注释符号：如#或//只用输入一个按ESC，回到命令模式。此时前面选中的几行行首全部加入了注释移动多个文件到另一文件夹使用-t参数mv vectors.txt ...

2019-07-20 19:17:46 893

原创 pandas中Dataframe选取指定行和列或删除含有指定数值的行或者列

pandas中的切片方法[],loc,iloc,at,iat,ix基础数据import pandas as pdimport randomrandom.seed(0)rnd_1 = [random.randrange(1,20) for x in range(10)]rnd_2 = [random.randrange(1,20) for x in range(10)]rnd_3 =...

2019-07-17 11:08:11 73228 3

原创 keras从数据生成器ImageDataGenerator中的flow_from_directory中获取加载的文件名和相应的类别

最近在做图像分类的任务，使用了densenet进行fine-tune，因为图片数据比较多且占内存因此数据的加载使用ImageDataGenerator生成器，使用flow_from_directory从文件夹中获取各个类别的数据。因为在测试的时候，需要知道哪个数据被判错了，要找到对应的文件名，...

2019-07-12 14:53:18 4422 2

原创 Linux Shell 利用sed批量更改文件名

更改文件后缀将所有的.html文件更改为. jpg文件[root@show day74]# for name in `ls *.html`;do echo $name ${name%.html}.jpg;done00.html 00.jpg01.html 01.jpg02.html 02.jpg03.html 03.jpg04.html 04.jpg05.html 05.jpg0...

2019-07-10 22:08:59 1748

原创二分类和多分类问题的评价指标总结

二分类评价指标准确率（Accuracy）评价分类问题的性能指标一般是分类准确率，即对于给定的数据，分类正确的样本数占总样本数的比例。注意：准确率这一指标在Unbalanced数据集上的表现很差，因为如果我们的正负样本数目差别很大，比如正样本100个，负样本9900个，那么直接把所有的样本都预测为负，准确率为99%，但是此分类模型实际性能是非常差的，因为它把所有正样本都分错了。精确率对...

2019-07-09 18:51:55 63592 7

原创 Keras中的回调函数Callbacks详解

介绍回调函数是一组在训练的特定阶段被调用的函数集，你可以使用回调函数来观察训练过程中网络内部的状态和统计信息。通过传递回调函数列表到模型的.fit()中，即可在给定的训练阶段调用该函数集中的函数。虽然我们称之为回调“函数”，但事实上Keras的回调函数是一个类keras.callbacks.Callback()是回调函数的抽象类，定义新的回调函数必须继承自该类类属性params：...

2019-07-07 21:28:58 28377 1

原创 json.dump(), json.dumps()与json.load(), json.loads()区别

json 模块提供了一种很简单的方式来编码和解码JSON数据。其中四个主要的函数是 json.dump(), json.dumps()与json.load(), json.loads()。1.json.dumps()将一个Python数据结构转换为JSON,即将dict类型的数据转成str，因为如果直接将dict类型的数据写入json文件中会发生报错，因此在将数据写入时需要用到该函数。im...

2019-07-07 16:49:16 4959

原创【已解决】使用keras对resnet， inception3进行fine-tune出现训练集准确率很高但验证集很低的问题（BN）

最近用keras跑基于resnet50，inception3的一些迁移学习的实验，遇到一些问题。通过查看github和博客发现是由于BN层导致的，国外已经有人总结并提了一个PR（虽然并没有被merge到Keras官方库中），并写了一篇博客，也看到知乎有人翻译了一遍：Keras的BN你真的冻结对了吗当保存模型后再加载模型去预测时发现与直接预测结果不一致也可能是BN层的问题。总结：keras...

2019-07-02 21:18:45 13379 22

原创已解决 failed call to cuInit: CUDA_ERROR_NO_DEVICE

重启服务器之后就出现连接不上NVIDIA驱动的情况。这个时候tensorflow还是可以运行的，但只是在用cpu跑。安装gpu版的TensorFlow时，也显示已安装。首先在终端输入nvidia-smi出现NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that th...

2019-07-02 10:52:52 19032 2

原创 linux下导入自己写的模块，找不到conda命令

自定义的模块必须PYTHONPATH上，否则在导入该模块时会出现找不到该模块的错误，即必须把所需要的模块的路径添加到PYTHONPATH（一般情况下是把lib/python3.5/site-packages添加到PYTHONPATH）。具体做法如下：(1) 在~/.bashrc 中输出环境变量export PYTHONPATH=$PYTHONPATH:模块路径(2) 更新PATHONPAT...

2019-07-01 21:45:05 1625

wf592523813的博客