机器学习优化方法：Momentum动量梯度下降

训练机器学习模型时我们常常遇到不能训练出最优值的情况，这往往是因为局部极值和鞍点阻碍了我们的训练。而病态曲率会减慢我们的训练，严重的可以使我们的训练无法得到最优值。

下图展示了病态曲率（图片来自阿里云栖社区）

考虑以下损失曲线图。

如你所知，我们在进入一个以蓝色为标志的像沟一样的区域之前是随机的。这些颜色实际上代表了在特定点上的损失函数的值，红色代表最高的值，蓝色代表最低的值。

我们想要下降到最低点，因此，需要穿过峡谷。这个区域就是所谓的病态曲率。为了了解为何将其称为病态曲率，让我们再深入研究。放大了看，病态曲率就像这样...

 

病态曲率

要知道这里发生的事情并不难。梯度下降沿着峡谷的山脊反弹，向最小的方向移动的速度非常慢。这是因为山脊的曲线在 W1 方向上弯曲的更陡。

考虑山脊表面的 A 点。我们看到，梯度在这点可以分解为两个分量，一个沿着 W1 方向，另外一个沿着 W2 方向。如果 f 显著下降的唯一方向是低曲率的，那么优化可能会变得太慢而不切实际，甚至看起来完全停止，造成局部最小值的假象。

 

正常情况下，我们使用一个较慢的学习率来解决这种山脊间反弹的问题，正如上一篇关于梯度下降的文章所述。然而，这却产生了麻烦。

当我们接近最小值时，慢下来是有意义的，我们想要收敛于它。但是考虑一下梯度下降进入病态曲率的区域，以及到最小值的绝对距离。如果我们使用较慢的学习率，可能需要花费更多的时间才能到达极小值点。事实上，有研究论文报道过使用足够小的学习率来阻值山脊间的反弹可能导致参与者以为损失根本没有改善，从而放弃训练。

如果 f 显著下降的唯一方向是低曲率的，那么优化可能会变得太慢而不切实际，甚至看起来完全停止，造成局部最小值的假象。

也许我们想要的是能让我们慢慢进入病态曲率底部的平坦区域，然后在最小值的方向上加速。二阶导数可以帮助我们做到这一点。

牛顿法

之所以会发生这种现象，是因为梯度下降只关心梯度，就好像上图中红色的点，三个曲线在这一点上的梯度是相同的。如何解决？使用二阶导数，或者考虑梯度变化的速率。

一个非常流行的可以使用二阶导数的技术，可以解决我们的问题，这个方法称为牛顿法。 如果表面变得不那么陡峭，那么学习步骤就会减少。

牛顿法可以提供一个理想的步长，在梯度方向上移动。 由于我们现在有了关于损失表面曲率的信息，所以可以选择步长，而不是用病态曲率来超过该区域的极限。

牛顿法通过计算 Hessian 矩阵来实现，Hessian 矩阵是损失函数的二阶导数组成的权值组合。我所说的权值组合，如下所示。

 

Hessian 矩阵在一个大矩阵中计算所有这些梯度。

 

Hessian 矩阵给出了一个点的损失曲面曲率的估计。一个损失的表面可以有一个正曲率，这意味着当我们移动时，表面会迅速变得不那么陡峭。如果我们有一个负曲率，这意味着当我们移动时，曲面变得越来越陡。

为什么我们很少使用牛顿法?

Hessian 矩阵需要计算损失函数对所有权值组合的梯度。在组合已知的情况下，要求的值的数量约是神经网络中权值数量的平方。

对于现代的网络来说，通常都含有数十亿个参数，使用高阶的优化方法很难计算 10 亿的平方数量级的梯度。

二阶优化是关于梯度本身如何变化的信息。虽然我们不能精确的计算它，但是我们可以遵循启发式方式，以指导我们根据之前的梯度进行优化

Momentum

算法展示如下（图片来源见水印）

与 SDG 结合使用的一种常用方法叫做 Momentum。Momentum 不仅会使用当前梯度，还会积累之前的梯度以确定走向。 梯度下降方程修改如下。

 

第一个式子有两项。第一项是上一次迭代的梯度，乘上一个被称为「Momentum 系数」的值，可以理解为取上次梯度的比例。

 

 

我们可以看到之前的梯度会一直存在后面的迭代过程中，只是越靠前的梯度其权重越小。（说的数学一点，我们取的是这些梯度步长的指数平均）

这对我们的例子有什么帮助呢？观察下图，注意到大部分的梯度更新呈锯齿状。我们也注意到，每一步的梯度更新方向可以被进一步分解为 w1 和 w2 分量。如果我们单独的将这些向量求和，沿 w1 方向的的分量将抵消，沿 w2 方向的分量将得到加强。

 

对于权值更新来说，将沿着 w2 方向进行，因为 w1 方向已抵消。这就可以帮助我们快速朝着极小值方向更新。所以，动量也被认为是一种抑制迭代过程中锯齿下降问题的技术。

这种方法还可以提高收敛速度，但如果超过极小值，可能需要使用模拟退化算法