什么是鞍点问题？

一、什么是鞍点问题？

在优化问题中，鞍点（Saddle Point）是指函数表面上看起来像是极值点，但实际上是一个局部极小值和一个局部极大值的结合点。在这种情况下，梯度为零，使得算法在此处停滞，导致优化过程陷入困境。

鞍点问题在高维空间中更常见，尤其是在深度学习中，因为深层神经网络的参数空间通常具有非常高的维度。当优化算法尝试更新参数以最小化损失函数时，它可能会陷入鞍点，梯度接近零，使得更新步骤变得非常小，从而导致优化过程几乎停滞。

解决鞍点问题的方法之一是使用更高级的优化算法，如动量优化器（Momentum）、自适应学习率优化器（如Adam）、以及一些特定的初始化策略，如He初始化，可以帮助避免或跳出鞍点。此外，随机性的引入，如随机梯度下降（SGD）中的