优化算法--momentum

momentum

​ 梯度下降或随机梯度下降都是目标函数在自变量当前位置下降最快的方向，然而，每次迭代都沿着最陡方向并且只考虑当前位置，会使得目标函数很容易陷入局部最小值和鞍点。

​ 可以看到，同一位置上，目标函数在竖直方向（$x_2$轴方向）比在水平方向（$x_1$轴方向）的斜率的绝对值更大。因此，给定学习率，梯度下降迭代自变量时会使自变量在竖直方向比在水平方向移动幅度更大。那么，我们需要一个较小的学习率从而避免自变量在竖直方向上越过目标函数最优解。然而，这会造成自变量在水平方向上朝最优解移动变慢。

​ 然而当我们将学习率变大，此时自变量在竖直方向不断越过最优解并逐渐发散。

动量法

​ 动量法可以很好的解决梯度下降“鼠目寸光”只关注当前位置的弊端，设时间步$t$的自变量为${\mathbf{x}}_t$，学习率为${\eta }_t$，小批量随机梯度${\mathbf{g}}_t$。在时间步$0$，动量法创建速度变量${\mathbf{v}}_0$，并将其元素初始化成0。在时间步$t>0$，动量法对每次迭代的步骤做如下修改：
$$\begin{array}{rl}{\mathbf{v}}_t& \leftarrow \gamma {\mathbf{v}}_{t-1}+{\eta }_t{\mathbf{g}}_t,\\ {\mathbf{x}}_t& \leftarrow {\mathbf{x}}^{}\end{array}$$