pytorch训练时前一次迭代的loss正常后一次迭代却报nan
问题描述:训练一个有四个阶段模型的网络(可以简单理解每一阶段就是一个卷积层),每阶段输出都会进行loss计算。现将pytorch原始的ce loss改为focal loss后,网络训练了数个迭代后loss 报nan。输入数据检查过没有问题,报nan时的前一个迭代的loss是正常的。报nan的当前迭代,第一个阶段所有的卷积参数都已经是nan了。一、问题排除因为查看过数据,完全没有问题,排除输入因为参数在报nan时已经是nan了,不是前向问题前一次迭代loss完全没问题,可能不是bp的问题,但是还没有
原创
2021-05-28 20:22:28 ·
3015 阅读 ·
0 评论