原文:https://stackoverflow.com/questions/33962226/common-causes-of-NaNs-during-training
1.learning rate 参数
如果learning rate 过大,相反会得到inf或者nan的值。这些错误的学习率乘上所有的梯度使得所有参数变成无效的值。
2.梯度爆炸
梯度变得非常大,使得学习的过程偏离了正常的轨迹,梯度的0
3error损失函数
观察runtime log,你可能不会发现任何异常:loss逐渐下降,然后突然出现nan.
4.输入中的nan