Datawhale X 李宏毅苹果书AI夏令营 - Task1笔记 - 3.1

1引言

本章探讨了深度学习中的优化问题，特别是如何处理和理解优化过程中的局部极小值与鞍点。理解这些问题对提升神经网络的训练效果至关重要。

1. 局部极小值与鞍点

优化挑战：在深度学习中，训练损失有时不会下降，可能是因为优化陷入了局部极小值或鞍点。

• 局部极小值：在该点，损失函数的梯度为零，并且在周围的点损失值较高。
• 鞍点：虽然梯度也为零，但其特性不同于局部极小值或局部极大值。在某些方向上，损失可以更低。

2. 临界点及其分类

判断临界点：通过泰勒级数展开，损失函数在临界点附近可以用梯度和海森矩阵来近似。

• 海森矩阵：二阶导数构成的矩阵帮助判断临界点的性质。
  • 正定矩阵：若海森矩阵所有特征值均为正，则临界点是局部极小值。
  • 负定矩阵：若海森矩阵所有特征值均为负，则临界点是局部极大值。
  • 混合特征值：若特征值有正有负，则临界点是鞍点。

3. 逃离鞍点的方法

海森矩阵的特征值：通过计算海森矩阵的特征值和特征向量，可以找到负特征值的方向，以更新参数逃离鞍点。

• 计算复杂性：实际应用中计算海森矩阵的复杂性较高，因此常用更简单的方法来处理鞍点问题。

4. 高维空间中的误差表面

高维效应：高维空间中的误差表面较为复杂，局部极小值在高维空间中往往变成鞍点。

• 经验观察：实验证明，在高维空间中，鞍点比局部极小值更常见。大多数情况下，遇到的临界点实际上是鞍点而非局部极小值。

总结

深度学习中的优化问题常常涉及到局部极小值和鞍点。通过理解临界点的分类和高维空间的误差表面特性，可以更好地优化神经网络训练过程。虽然理论上海森矩阵提供了有效的分析方法，但实际应用中通常需要更高效的策略来处理这些挑战。