关于caffe训练出现loss=87.3365

可以在solver里面设置：

debug_info: true

看看各个层的data和diff是什么值，一般这个时候那些值不是NAN（无效数字）就是INF（无穷大），

一般的解决办法是：

1、检查数据的标签是否从0开始且连续

2、把学习率base_lr调低

3、数据问题

4、中间层没有归一化，导致经过几层后，输出的值已经很小了，这个时候再计算梯度就比较尴尬了，

这也是我遇到的问题，所以我再各个卷积层加入了BN层和SCALE层，不过FC层没有必要加吧？

5、把base_lr调低，然后batchsize也调高

6、把data层的输入图片进行归一化，就是从0-255归一化到0-1，使用的参数是：

1.  transform_param {  
2.     scale: 0.00390625//像素归一化，1/255
3.   } 

7、网络参数太多，网络太深，删掉几层看看，可能因为数据少，需要减少中间层的num_output

8、记得要shuffle数据，否则数据不够随机，几个batch之间的数据差异很小，一旦连续几个batch把loss调很小，然后就。。。 现在不造解释，

9、如果是自己写的loss，查看loss写的对不对

最新发现，我的显卡(gtx 780ti)是有问题的，在tensorflow和keras上跑也会出现loss突然变大，然后一发不可收拾

然而同样的代码在其他显卡上是可以的