梯度消失和梯度爆炸

梯度消失和梯度爆炸是深度学习中常见的两个问题，它们都与神经网络训练过程中的梯度更新有关。

梯度消失（Gradient Vanishing）

梯度消失是指在深度神经网络中，随着层数的增加，反向传播时梯度逐渐变小，直至接近于零的现象。这会导致网络中靠近输入层的层的权重更新非常缓慢，甚至几乎不更新，使得这些层难以学习到有效的特征。

原因：

• 深层网络中，梯度是通过链式法则计算的，如果每一层的激活函数导数都小于1（如sigmoid或tanh函数），那么梯度会随着层数的增加而呈指数级减小。
• 权重初始化不当也可能导致梯度消失，如果初始权重太小，那么乘积效应会导致梯度很小。

解决方法：

• 使用ReLU（Rectified Linear Unit）或其变种作为激活函数，因为ReLU的导数在正区间为1，可以缓解梯度消失问题。
• 使用合适的权重初始化方法，如He初始化或Xavier初始化。
• 使用批量归一化（Batch Normalization）来稳定训练过程。

梯度爆炸（Gradient Explosion）

梯度爆炸是指在深度神经网络中，随着层数的增加，反向传播时梯度逐渐变大，直至数值溢出（梯度爆炸）的现象。这会导致网络权重更新过大，使得训练过程不稳定，甚至发散。

原因：

• 类似于梯度消失，梯度爆炸也与链式法则有关，如果每一层的激活函数导数都大于1，梯度会随着层数增加而呈指数级增长。
• 权重初始化过大也可能导致梯度爆炸。

解决方法：

• 使用ReLU激活函数，因为其导数在负区间为0，有助于防止梯度爆炸。
• 权重初始化时使用较小的值，如Xavier初始化。
• 应用梯度剪切（Gradient Clipping）技术，即在更新权重前限制梯度的最大值。
• 使用正则化技术，如L1、L2正则化，有助于控制权重的大小。

梯度消失和梯度爆炸问题在深度学习的早期研究中是主要障碍之一，但随着激活函数、权重初始化方法和优化算法的改进，这些问题得到了很大程度的缓解。