深度学习报错记录:验证过后,训练时损失激增,特征提取为nan值
但是,上面代码model.train()模式是在for循环外设置的,也就是说一旦进行过一次验证之后,再训练时并没有改成model.train()模式,这会导致训练时的网络参数异常,最终导致loss剧增,特征nan值。:我发现,在500次迭代之前(第一次验证之前)训练都不会出现问题,一旦验证过一次,之后的训练中的loss值会突然剧增(loss增大到1.54e+18这个量级),紧接着特征提取时feature会出现nan值。:每次训练之前都要设置model.train()。
原创
2024-01-09 14:31:11 ·
409 阅读 ·
1 评论