“Datawhale X 李宏毅苹果书 AI夏令营”深度学习进阶笔记Task1

局部极小值与鞍点的基本概念

优化问题：深度学习中，优化问题常常会遇到损失函数不再下降的情况，这可能是由于收敛到了局部极小值或鞍点。
局部极小值：损失函数在参数空间的某个区域内达到最小值，但不一定是全局最小值。如图3.2a所示，梯度为零，且四周均为损失更高的点。
鞍点：损失函数在梯度为零的点，但并非局部最小值或最大值，其形状类似于马鞍，如图3.2b所示。在鞍点附近，损失函数在某些方向上升，在某些方向下降。

临界点的种类及判断方法

临界点：梯度为零的点，包括局部极小值、局部极大值和鞍点。
泰勒级数近似：通过泰勒级数近似损失函数在临界点附近的形状，公式为L(θ) ≈ L(θ′) + (θ - θ′)T g + 1/2 (θ - θ′)T H (θ - θ′)。其中，g为梯度，H为海森矩阵。
海森矩阵与特征值：通过计算海森矩阵的特征值，可以判断临界点是局部极小值、局部极大值还是鞍点。若特征值全为正，则为局部极小值；若特征值全为负，则为局部极大值；若特征值有正有负，则为鞍点。

逃离鞍点的方法

高维空间中的观察：在更高维的参数空间中，低维空间的局部极小值可能变为鞍点，存在更多的路径可以逃离。
海森矩阵的应用：尽管计算海森矩阵的运算量大，但理论上可以通过其特征值和特征向量来指导参数更新，从而逃离鞍点。
实际操作中的替代方法：由于计算海森矩阵的复杂性，实际中常采用其他方法如自适应学习率、学习率调度、批量归一化等来应对鞍点和局部极小值问题。

理解挑战：理解局部极小值和鞍点对深度学习优化的影响是提升神经网络性能的关键。
应对策略：通过理论分析和实际操作中的技巧，如使用海森矩阵的简化方法、自适应学习率和学习率调度等，可以有效应对这些挑战。
未来展望：随着研究的深入，将会有更多高效的方法来应对优化过程中的局部极小值和鞍点问题，进一步提升深度学习模型的性能。