一、显卡说明
如果您的显卡是非NVIDIA公司的产品或是NVIDIA GTX系列中型号的第一个数字低于6或NVIDIA的GT系列,都不建议您采用此类显卡进行加速计算,例如NVIDIA GT 910、NVIDIA GTX 460 等等。
如果您的显卡为笔记本上的GTX移动显卡(型号后面带有标识M),那么请您慎重使用显卡加速,因为移动版GPU容易发生过热烧毁现象。
如果您的显卡,显示的是诸如 HD5000,ATI 5650 等类型的显卡,那么您只能使用CPU加速
如果您的显卡芯片为Pascal架构(NVIDIA GTX 1080,NVIDIA GTX 1070等),您只能在之后的配置中选择CUDA 8.0
二、Keras使用陷阱
1 TF卷积核与TH卷积核
如果你从无到有搭建自己的一套网络,则大可放心。
但如果你想使用一个已有网络,或把一个用th/tf 训练的网络以另一种后端应用,在载入的时候你就应该特别小心了。
卷积核与所使用的后端不匹配,不会报任何错误,因为它们的shape是完全一致的,没有方法能够检测出这种错误。
th/tf的shape虽然完全一致, 但是tf四维矩阵(图像数据),shape顺序为(pic_num, pic_width, pic_height, pic_channel)
而th四维矩阵shape顺序为(pic_num, pic_channel, pic_width, pic_height)
避免陷阱的方法
(1) 在使用预训练模型时,一个建议是首先找一些测试样本,看看模型的表现是否与预计的一致。
(2) 如需对卷积核进行转换,可以使用utils.convert_all_kernels_in_model对模型的所有卷积核进行转换
2 向BN层中载入权重
如果你不知道从哪里淘来一个预训练好的BN层,想把它的权重载入到Keras中,要小心参数的载入顺序。
一个典型的例子是,将caffe的BN层参数载入Keras中,caffe的BN由两部分构成,bn层的参数是mean,std,scale层的参数是gamma,beta
按照BN的文章顺序,似乎载入Keras BN层的参数应该是[mean, std, gamma, beta]
然而不是的,Keras的BN层参数顺序应该是[gamma, beta, mean, std],这是因为gamma和beta是可训练的参数,而mean和std不是
Keras的可训练参数在前,不可训练参数在后
错误的权重顺序不会引起任何报错,因为它们的shape完全相同
3 shuffle和validation_split的顺序
模型的fit函数有两个参数,shuffle用于将数据打乱,validation_split用于在没有提供验证集的时候,按一定比例从训练集中取出一部分作为验证集
这里有个陷阱是,程序是先执行validation_split,再执行shuffle的,所以会出现这种情况:
假如你的训练集是有序的,比方说正样本在前负样本在后,又设置了validation_split,那么你的验证集中很可能将全部是负样本
同样的,这个东西不会有任何错误报出来,因为Keras不可能知道你的数据有没有经过shuffle,保险起见如果你的数据是没shuffle过的,最好手动shuffle一下