深度学习之梯度消失

在深度学习中，梯度消失是指在反向传播过程中，随着网络层数增加或者在使用特定类型的激活函数（如sigmoid函数）时，梯度逐渐变小并最终趋近于零的现象。这种现象导致在更新参数时，底层网络的权重几乎不会得到有效的更新，从而使得网络在学习过程中变得非常缓慢甚至停滞不前。

以Sigmoid函数为例 ，说明梯度消失问题

Sigmoid函数的导数计算如下：

现在来看Sigmoid函数的导数在什么情况下会导致梯度消失问题：

1. 导数范围：

   • 对于Sigmoid函数，当输入x较大或较小时，Sigmoid函数的值接近于0或1，此时导数的乘积值范围是[ 0, 0.25 ]。这意味着，无论输入是正是负，导数的最大值都不会超过0.25。

2. 反向传播中的梯度传递：

   • 在一个深层的神经网络中，反向传播会通过链式法则将梯度传递回到每一层的权重。每一层的梯度都是上一层梯度和当前层激活函数导数的乘积。

3. 梯度乘积效应：

   • 当网络很深时，梯度会经过多个层级的乘积。由于Sigmoid函数导数的范围是[ 0, 0.25 ]，这意味着每传递一层，梯度都会缩小为原来的四分之一左右。因此，随着层数的增加，梯度可能会非常快地趋近于零，尤其是在网络的初始层。

4. 梯度消失影响：

   • 当梯度趋近于零时，网络的底层参数几乎不会得到有效的更新，导致这些层学习到的特征变得不稳定甚至停滞不前。这会影响整个网络的训练效果，尤其是对于较深的神经网络。

因此，Sigmoid函数的导数范围较小，以及其特性使得在深层网络中容易出现梯度消失问题。为了解决这个问题，ReLU及其变种成为了更好的选择，因为它们在大多数情况下能够避免梯度消失，从而加速神经网络的训练。