- 博客(1)
- 收藏
- 关注
翻译 pytorch 出现nan梯度问题
原文:https://stackoverflow.com/questions/33962226/common-causes-of-NaNs-during-training1.learning rate 参数如果learning rate 过大,相反会得到inf或者nan的值。这些错误的学习率乘上所有的梯度使得所有参数变成无效的值。2.梯度爆炸梯度变得非常大,使得学习的过程偏离了正常...
2018-12-04 10:23:47
5968
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人