关于修改loss函数，以及loss为nan的一些情况

1、代码中使用到了torch.sqrt ，如果sqrt的输入参数为负数，那么也会导致计算的结果为nan，最终导致loss函数出现nan。

2、输入参数过小torch.sqrt就算结果趋近于0，遇到有log的对数函数计算时候，会出现无穷大的情况。

3、还有就是参数过小，趋近于0，反向传播时候作为分母，造成反向计算的节点为无穷大。

4、做归一化操作时，同组数据为0，造成分母为0（最大值-最小值）。

 

第一种情况，个人采用的解决方法是，将网络的输出使用relu函数将结果取正。

后面三种情况，总结来说就是分母为0的情况，那么可以在计算分母的地方添加  epsilon = 1e-7,使得分母趋近于0，而不是0。

 

个人见解，欢迎大家指正。