AdaBelief优化器导致梯度爆炸loss输出nan

记录一个优化器的坑

跑实验发现loss输出是nan，打印出梯度发现训练了没几次之后就变成了nan。一开始以为是新增的模块有问题，尝试注释掉新模块，发现依旧存在同样的问题。

之前根据老师的建议，使用了AdaBelief优化器。由于更新了AdaBelief包，每次运行试验时都会print出提示告诉你建议的参数值，想着试一试的心态就把AdaBelief的参数按照github的建议做了修改，奇迹发生了！！！！loss和梯度一下子都正常了

所以使用AdaBelief的小伙伴如果遇到梯度爆炸问题可以尝试按照官方的建议修改参数，贴一个官方github地址：https://github.com/juntang-zhuang/Adabelief-Optimizer

PyTorch下建议的参数如下所示：

我使用了GAN(small)的设定来训练GAN，能够解决梯度爆炸问题