Loss异常

---

Loss异常

loss下降本来平稳，突然出现波动

可能是label出现错误，本来预测正确，却判断为错误，就会出现波动

解决：
1）在loss不再下降的时候降低学习率；
2）每个epoch训练之前，对数据进行重新打乱，如果你的 batch 的内容和顺序都是固定的，可能造成模型overfit这个顺序；
3）各个 batch 的 loss 有不同是正常的，但如果波动太大，可能说明你的各个 batch 不是 homogeneous 的（即内容差别太大），不能代表整体数据。可以试试加大 batch size。

---

出现NaN

1）如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止。

2）如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipping”（梯度截断：大于某个值时，令它等于这个值）

3）可能用0作为了除数;

4）可能0或者负数作为自然对数

---

Loss一直不下降

可能原因很多，

• 标签错误，比如很像的图像有完全不同的标签
• 可能模型过于简单
• 可能模型过于复杂，模型复杂了真的会不下降loss