深度学习基础-梯度相关问题

深度学习基础-梯度相关问题

大家在训练过程中经常会遇到梯度无法下降的问题，这里为大家做一些解析。

梯度无法下降有以下两种情况：

1.局部极小值：梯度存在，但是陷入一个坑里面，无法跳出去，这个时候可以加一些震荡，增大梯度下降的随机程度，跳出坑来。(如随机梯度）

• 局部极小值是指在该点的梯度接近于零，但该点并不是全局最小值。在这种情况下，梯度下降算法可能会陷入局部最小值而无法达到全局最小值。

• 解决方法：

  • 增加学习率：提高学习率可以使得模型跳出局部最小值，但过高的学习率可能导致训练不稳定。
  • 动量（Momentum） ：动量方法可以加速梯度下降，并且在梯度方向一致时增加步长，有助于跳出局部最小值。
  • 自适应学习率算法：如Adam、RMSprop等，这些算法可以自适应调整每个参数的学习率，有助于处理局部极小值问题。

2.鞍点：梯度为0的地方，鞍点处梯度为0，无法继续下降，这个时候可以考虑数据规约或更换激活函数。

• 鞍点是指梯度为零的点，但在该点的Hessian矩阵（二阶导数矩阵）有正有负的特征值，即存在上升和下降的方向。在鞍点处，梯度下降算法无法确定下一步的移动方向。

• 解决方法：

  • 使用二阶优化算法：如牛顿法或拟牛顿法，这些方法考虑了Hessian矩阵，可以在鞍点处找到更好的下降方向。
  • 激活函数的选择：某些激活函数（如ReLU）可能导致梯度消失问题，选择不同的激活函数（如Leaky ReLU或ELU）可能有助于改善鞍点问题。
  • 数据规约：通过减少数据的维度或去除冗余特征，可以减少鞍点的可能性。