【李宏毅深度学习】局部极小值与鞍点 - Datawhale X 李宏毅苹果书 AI夏令营 Day1

在深度学习的优化过程中，局部极小值与鞍点是两个常见的“陷阱”，它们可能会阻碍模型的进一步优化，导致损失函数无法继续下降。下面我们深入探讨这些概念，并分享如何识别和逃离这些优化障碍。

1. 什么是局部极小值和鞍点？
在优化神经网络时，梯度下降会逐步更新参数，试图最小化损失函数。然而，有时损失函数在某些点上达到平稳状态，梯度接近零，这些点被称为临界点。常见的临界点包括：

• 局部极小值：参数在这个点附近的所有方向上都无法降低损失，是一个“低谷”。
• 鞍点：在某些方向上，损失函数值降低，而在其他方向上则升高，类似于马鞍的形状。

2. 为什么鞍点更常见？
实际情况中，深度学习模型的参数空间维度极高。研究表明，鞍点在高维空间中更为常见，而局部极小值较为罕见。因此，优化过程中更多时候遇到的是鞍点，而非局部极小值。

3. 如何判断我们遇到了什么临界点？
判断一个临界点是否为局部极小值或鞍点，可以通过海森矩阵（Hessian Matrix）来分析。如果海森矩阵的所有特征值均为正，该临界点为局部极小值；如果有正有负特征值，该临界点则为鞍点。

4. 逃离鞍点的方法
虽然鞍点听起来像是一个障碍，但实际上通过特征向量分析，我们可以沿着特征值为负的方向更新参数，从而逃离鞍点，继续优化模型。这一过程相对复杂，实际中通常不会直接计算海森矩阵，而是采用其他优化策略，如动量法、RMSProp等自适应学习率方法。

总结
深度学习的优化之路并非一帆风顺，局部极小值和鞍点是我们常遇到的挑战。了解并掌握这些概念与应对策略，将帮助你更好地训练深度学习模型，避免陷入优化的死胡同。