如何确定梯度消失/爆炸和解决梯度消失/爆炸

0、出现梯度消失与梯度爆炸的原因以及解决方案

1. https://blog.csdn.net/qq_25737169/article/details/78847691

1、梯度消失的原因和表现

1.1、梯度消失的原因：

在深层网络中，如果激活函数的导数小于1，根据链式求导法则，靠近输入层的参数的梯度因为乘了很多的小于1的数而越来越小，最终就会趋近于0，例如sigmoid函数，其导数f′(x)=f(x)(1−f(x))的值域为（0，1/4），极易发生这种情况。

所以梯度消失出现的原因经常是因为网络层次过深，以及激活函数选择不当，比如sigmoid函数。

1.2、梯度消失的现象

模型无法从训练数据中获得更新，损失几乎保持不变。

2、梯度爆炸的原因和表现

2.1、梯度爆炸的原因

梯度爆炸就是由于初始化权值过大，前面层会比后面层变化的更快，就会导致权值越来越大，梯度爆炸的现象就发生了。

在深层网络或循环神经网络中，误差梯度可在更新中累积，变成非常大的梯度，然后导致网络权重的大幅更新，并因此使网络变得不稳定。在极端情况下，权重的值变得非常大，以至于溢出，导致 NaN 值。

网络层之间的梯度（值大于 1.0）重复相乘导致的指数级增长会产生梯度爆炸。

在深度多层感知机网络中，梯度爆炸会引起网络不稳定，最好的结果是无法从训练数据中学习，而最坏的结果是出现无法再更新的 NaN 权重值。 在循环神经网络中，梯度爆炸会导致网络不稳定，无法利用训练数据学习，最好的结果是网络无法学习长的输入序列数据。

2.2、梯度爆炸的现象

训练过程中出现梯度爆炸会伴随一些细微的信号，如：

1. 模型无法从训练数据中获得更新（如低损失）。

2. 模型不稳定，导致更新过程中的损失出现显著变化。

3. 训练过程中，模型损失变成 NaN。

如果你发现这些问题，那么你需要仔细查看是否出现梯度爆炸问题。

以下是一些稍微明显一点的信号，有助于确认是否出现梯度爆炸问题。

4. 训练过程中模型梯度快速变大。

5. 训练过程中模型权重变成 NaN 值。

6. 训练过程中，每个节点和层的误差梯度值持续超过 1.0。

3、解决办法

3.1、重新设计网络模型

1. 在深度神经网络中，梯度爆炸可以通过重新设计层数更少的网络来解决。

2. 使用更小的批尺寸对网络训练也有好处。

3. 在循环神经网络中，训练过程中在更少的先前时间步上进行更新（沿时间的截断反向传播，truncated Backpropagation through time）可以缓解梯度爆炸问题。

3.2、使用 ReLU 激活函数

1. 在深度多层感知机神经网络中，梯度爆炸的发生可能是因为激活函数，如之前很流行的 Sigmoid 和 Tanh 函数。

2. 使用 ReLU 激活函数可以减少梯度爆炸。

3.3、使用长短期记忆网络

1. 在循环神经网络中，梯度爆炸的发生可能是因为某种网络的训练本身就存在不稳定性，如随时间的反向传播本质上将循环网络转换成深度多层感知机神经网络。

2. 使用长短期记忆（LSTM）单元和相关的门类型神经元结构可以减少梯度爆炸问题。

3.4、使用梯度截断（Gradient Clipping）

• 在非常深且批尺寸较大的多层感知机网络和输入序列较长的 LSTM 中，仍然有可能出现梯度爆炸。如果梯度爆炸仍然出现，你可以在训练过程中检查和限制梯度的大小。这就是梯度截断。

• 处理梯度爆炸有一个简单有效的解决方案：如果梯度超过阈值，就截断它们。
  具体来说，检查误差梯度的值是否超过阈值，如果超过，则截断梯度，将梯度设置为阈值。

3.5、使用权重正则化（Weight Regularization）

• 如果梯度爆炸仍然存在，可以尝试另一种方法，即检查网络权重的大小，并惩罚产生较大权重值的损失函数。该过程被称为权重正则化，通常使用的是 L1 惩罚项（权重绝对值）或 L2 惩罚项（权重平方）。
  对循环权重使用 L1 或 L2 惩罚项有助于缓解梯度爆炸。

3.6、使用残差模块，避免梯度消失

汇总：