PyTorch梯度爆炸、loss反向传播为nan

在最近的项目中用到了自定义loss函数，代码一切都准备就绪后，在训练时遇到了梯度爆炸的问题，每次训练几个iterations后，梯度和loss都会变为nan。一般情况下，梯度中间部分值存在0情况，梯度就会产生nan，导致该层向前的层梯度和权重都为Nan

参考文献：

• https://zhuanlan.zhihu.com/p/79046709