训练网络出现loss为NaN的情况

1.梯度爆炸

原因：在学习过程中，梯度变得非常大，使得学习的过程偏离了正常的轨迹。
症状：观察输出日志中每次迭代的loss值，发现loss随着迭代有明显的增长，最后因为loss值太大以致于不能用浮点数去表示，所以变成NaN。
可采取的方法： 1.降低学习率，比如solver.prototxt中base_lr，降低一个数量级。如果在你的模型中有多个loss层，就不能降低基础的学习率base_lr，而是需要检查日志，找到产生梯度爆炸的层，然后降低train_val.prototxt中该层的loss_weight。

2.错误的学习率策略及参数

原因： 在学习过程中，caffe不能得出一个正确的学习率，相反会得到inf或者nan的值，这些错误的学习率乘上所有的梯度使得所有的参数变成无效的值。
症状：观察输出日志，可以看到学习率变为NaN
可采取的方法： 修改solver.prototxt文件中所有能影响学习率的参数。比如，如果你设置的学习率策略是 lr_policy: “poly” ，而你又忘了设置最大迭代次数max_iter，那么最后你会得到lr=NaN…
关于caffe学习率及其策略的内容，可以在github的/caffe-master/src/caffe/proto/caffe.proto 文件中看到