可以在solver里面设置:
debug_info: true
看看各个层的data和diff是什么值,一般这个时候那些值不是NAN(无效数字)就是INF(无穷大),
一般的解决办法是:
1、检查数据的标签是否从0开始且连续
2、把学习率base_lr调低
3、数据问题
4、中间层没有归一化,导致经过几层后,输出的值已经很小了,这个时候再计算梯度就比较尴尬了,
这也是我遇到的问题,所以我再各个卷积层加入了BN层和SCALE层,不过FC层没有必要加吧?
5、把base_lr调低,然后batchsize也调高
6、把data层的输入图片进行归一化,就是从0-255归一化到0-1,使用的参数是:
- transform_param {
- scale: 0.00390625//像素归一化,1/255
- }
7、网络参数太多,网络太深,删掉几层看看,可能因为数据少,需要减少中间层的num_output
8、记得要shuffle数据,否则数据不够随机,几个batch之间的数据差异很小,一旦连续几个batch把loss调很小,然后就。。。 现在不造解释,
9、如果是自己写的loss,查看loss写的对不对
最新发现,我的显卡(gtx 780ti)是有问题的,在tensorflow和keras上跑也会出现loss突然变大,然后一发不可收拾
然而同样的代码在其他显卡上是可以的