7. 梯度爆炸相关问题

目录

梯度爆炸

梯度误差

梯度消失与梯度爆炸的产⽣原因

梯度爆炸现象

梯度爆炸可能导致以下问题：

为了解决梯度爆炸问题，可以考虑以下方法：

---

1 什么是梯度爆炸

        是深度学习中的一种问题，它发生在反向传播过程中，导致梯度值变得非常大，从而使模型的权重参数大幅度更新，通常是指梯度值超过了计算机的数值范围，造成数值不稳定。梯度爆炸通常出现在深层神经网络中，特别是循环神经网络（RNN）中，而不太常见于深度卷积神经网络（CNN）。

2 什么是梯度误差

        是在神经网络训练期间计算的方向和梯度，神经网络以正确的方向和数值更新网络权重。在深度网络或递归神经网络中，梯度误差可能在更新过程中累积，造成非常大的梯度。这反过来会导致网络权重的大量更新，进而导致网络不稳定。在极端情况下，权重值可能变得太大，以至于溢出并导致NaN值现成梯度爆炸现象。

3 简单介绍梯度消失与梯度爆炸的产⽣原因

• 梯度消失：（1）隐藏层的层数过多；（2）采⽤了不合适的激活函数(更容易产⽣梯度消失，但是也有可能产⽣梯度爆炸)