神经网络：梯度

梯度消失和梯度爆炸是深度学习中常见的问题，主要发生在训练神经网络时，特别是在使用反向传播算法进行权重更新时。
1.梯度消失
靠近输出层的隐藏层梯度大，参数更新快，因此收敛速度快，而靠近输入层的隐藏层梯度小，参数更新慢，几乎和初始状态一样，随机分布。
反向传播进行很多层的时候，由于每一层都对前一层梯度乘以一个小数，因此，越往前传递，梯度就会越来越小，训练越慢。

2.梯度爆炸
前面layer的梯度通过训练变大，而后面layer的梯度指数级增大。
MLP中，梯度爆炸会引起网络不稳定，最好的结果是无法从训练数据中学习，最坏的结果是出现无法更新的NaN权重值。
RNN中，梯度爆炸会导致网络不稳定，无法利用训练数据学习，最好的结果是网络无法学习长的输入序列数据。

3.梯度消失和梯度爆炸的原因

• 网络层数过深
  当神经网络层数增加时，梯度在反向传播过程中会经过多次连乘操作，这可能导致梯度值逐渐减小（梯度消失）或梯度值逐渐增大（梯度爆炸）。
• 激活函数选择不当
  某些激活函数（如Sigmoid和Tanh）在输入值较大或较小时，其梯度值会趋近于0，这可能导致梯度消失。而某些情况下，梯度值也可能急剧增加，导致梯度爆炸。
• 不合适的权重初始化
  如果权重初始化过大或过小，都可能会影响梯度的传播，导致梯度消失或爆炸。
• 学习率设置不当
  学习率过大可能导致梯度更新步长过大，跳过最优解，甚至导致模型无法收敛；而学习率过小则可能导致模型收敛速度过慢，甚至陷入局部最优解。

4.梯度消失和梯度爆炸的解决办法

• 选择合适的激活函数
  使用ReLU及其变体（如Leaky ReLU、PReLU、ELU等）作为激活函数，这些函数在输入为正时梯度为常数，可以有效缓解梯度消失问题。
• 使用残差网络
  残差网络通过引入残差连接，将输入直接连接到输出，有助于梯度在深层网络中的传播，从而缓解梯度消失问题。
• 权重初始化
  采用合适的权重初始化方法，如Xavier初始化或者He初始化，这些方法可以确保权重在训练开始时具有合适的尺度，有助于梯度的稳定传播。
• 批量归一化BN
  在每个隐藏层之后添加 BN 层，对输入进行归一化处理，可以稳定数据的分布，减少内部协
  变量偏移，从而有助于缓解梯度消失和梯度爆炸问题。
• LSTM结构
  可以改善RNN中的梯度消失问题，主要原因在于LSTM内部复杂的“门”。
• 预训练加微调
  基本思想是每次训练一层隐藏层节点，将上一层隐藏层的输出作为输入，而本层的输出作为下一层的输入，这就是逐层预训练，训练完成后，在对整个网络进行微调。此方法相当于找全局最优。
• 梯度裁剪
  在梯度更新之前，对梯度值进行裁剪，确保梯度值不会过大，从而防止梯度爆炸。
• 使用更合适的优化器
  选择更合适的优化器（如Adam、RMSprop等），这些优化器通常具有自适应学习率调整机制，可以根据有梯度的大小自动调整学习率。
• 学习率衰减
  在训练过程中逐渐减少学习率，有助于模型在训练后期更加稳定的收敛到最优解，减少梯度消失和梯度爆炸的影响。

5.如何确定是否出现梯度爆炸？
模型不稳定，导致更新过程中的损失出现显著变化；
训练过程中模型梯度快速变大；
训练过程中权重值变成NaN值；
训练过程中，每个节点和层的误差梯度值持续超过1.0。