circle loss代码实现_【PyTorch】梯度爆炸、loss在反向传播变为nan

0. 遇到大坑

笔者在最近的项目中用到了自定义loss函数，代码一切都准备就绪后，在训练时遇到了梯度爆炸的问题，每次训练几个iterations后，梯度和loss都会变为nan。一般情况下，梯度变为nan都是出现了

,

等情况，导致结果变为+inf，也就成了nan。

1. 问题分析

笔者需要的loss函数如下：

其中，

。

从理论上分析，这个loss函数在反向传播过程中很可能会遇到梯度爆炸，这是为什么呢？反向传播的过程是对loss链式求一阶导数的过程，那么，

的导数为：

由于

，这个导数又可以表示为：