深度学习优化算法

​ 目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此，梯度下降也叫作最陡下降（steepest descent）。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。然而，如果自变量的迭代方向仅仅取决于自变量当前位置，这可能会带来一些问题。

梯度下降法的弊端

如果同一位置上，目标函数在竖直方向（$x_2$轴方向）比在水平方向（$x_1$轴方向）的斜率的绝对值更大，在给定学习率的情况下，梯度下降迭代自变量时会使自变量在竖直方向比在水平方向移动幅度更大。那么，我们需要一个较小的学习率从而避免自变量在竖直方向上越过目标函数最优解。然而，这会造成自变量在水平方向上朝最优解移动变慢。然而如果试着将学习率调得稍大一点，自变量就会在在竖直方向不断越过最优解并逐渐发散。

动量法（Momentum）

---

​ 动量法的提出是为了解决梯度下降的上述问题。设时间步$t$的自变量为${\mathbf{x}}_t$，学习率为${\eta }_t$。在时间步$0$，动量法创建速度变量${\mathbf{v}}_0$，并将其元素初始化成0。在时间步$t>0$，动量法对每次迭代的步骤做如下修改：
$$\begin{array}{rl}{\mathbf{v}}_t& \leftarrow \gamma {\mathbf{v}}_{t-1}+{\eta }_t{\mathbf{g}}_t,\\ {\mathbf{x}}_t& \leftarrow {\mathbf{x}}_{t-1}-{\mathbf{v}}_t,\end{array}$$
其中，动量超参数$\gamma$满足$0\le \gamma <1$。当$\gamma =0$时，动量法等价于小批量随机梯度下降。

动量法的数学原理

指数加权平均

给定超参数$0\le \gamma <1$，当前时间步$t$的变量$y_t$是上一时间步$t-1$的变量$y_{t-1}$和当前时间步另一变量$x_t$的线性组合：

$$y_t=\gamma y_{t-1}+(1-\gamma )x_t.$$
我们可以对$y_t$展开：

$$\begin{array}{rl}{y}_t& =(1-\gamma )x_t+\gamma y_{t-1}\\ & =(1-\gamma )x_t+(1-\gamma )\cdot \gamma x_{t-1}+{\gamma }^2{y}_{t-2}\\ & =(1-\gamma )x_t+(1-\gamma )\cdot \gamma x_{t-1}+(1-\gamma )\cdot {\gamma }^2{x}_{t-2}+{\gamma }^3{y}_{t-3}\\ & =(1-\gamma )x_t+(1-\gamma )\cdot \gamma x_{t-1}+(1-\gamma )\cdot {\gamma }^2{x}_{t-2}+\dots +{\gamma }^n{y}_{t-n}\\ & \approx (1-\gamma )(x_t+\gamma x_{t-1}+{\gamma }^2{x}_{t-2}+\dots +{\gamma }^{n-1}{x}_{t-n})\\ & \dots \end{array}$$

上式最后一步成立，由于$n\to \infty$，因此可令$n=1/(1-\gamma )$，当$\gamma \to 1$时，$n\to \infty$，则${\gamma }^n={\gamma }^{1/(1-\gamma )}={\left(1-1/n\right)}^n$。因为

$$\underset{n\to \infty }{\lim }{\left(1-\frac{1}{n}\right)}^n={\mathbf{e}}^{-1}\approx 0.3679,$$
所以当$\gamma \to 1$时，${\gamma }^{1/(1-\gamma )}={\mathbf{e}}^{-1}$，如$0.95^{20}\approx {\mathbf{e}}^{-1}$如果把${\mathbf{e}}^{-1}$当作一个比较小的数，我们可以在近似中忽略所有含${\gamma }^{1/(1-\gamma )}$和比${\gamma }^{1/(1-\gamma )}$更高阶的系数的项。例如，当$\gamma =0.95$时，

$$y_t\approx 0.05\sum _{i=0}^{19}0.95^i{x}_{t-i}.$$
因此，在实际中，我们常常将$y_t$看作是对最近$1/(1-\gamma )$个时间步的$x_t$值的加权平均。例如，当$\gamma =0.95$时，$y_t$可以被看作对最近20个时间步的$x_t$值的加权平均；当$\gamma =0.9$时，$y_t$可以看作是对最近10个时间步的$x_t$值的加权平均。而且，离当前时间步$t$越近的$x_t$值获得的权重越大（越接近1）。

现在，对动量法的速度变量做变形：

$${\mathbf{v}}_t\leftarrow \gamma {\mathbf{v}}_{t-1}+(1-\gamma )\left(\frac{{\eta }_t}{1-\gamma }{\mathbf{g}}_t\right).$$
由指数加权移动平均的形式可得，速度变量${\mathbf{v}}_t$实际上对序列 \({\eta_{t-i}\boldsymbol{g}_{t-i} /(1-\gamma):i=0,\ldots,1/(1-\gamma)-1}​\) 做了指数加权移动平均。换句话说，相比于小批量随机梯度下降，动量法在每个时间步的自变量更新量近似于将前者对应的最近$1/(1-\gamma )$个时间步的更新量做了指数加权移动平均后再除以$1-\gamma$。所以，在动量法中，自变量在各个方向上的移动幅度不仅取决于当前梯度，还取决于过去的各个梯度在各个方向上是否一致。这样，就可以使用较大的学习率，从而使自变量向最优解更快移动。

• 动量法使用了指数加权移动平均的思想。它将过去时间步的梯度做了加权平均，且权重按时间步指数衰减。
• 动量法使得相邻时间步的自变量更新在方向上更加一致。

AdaGrad

---

​ 在之前，目标函数自变量的每一个元素在相同时间步都使用同一个学习率来自我迭代。当不同维度的梯度值有较大差别时，需要选择足够小的学习率使得自变量在梯度值较大的维度上不发散，但这样会导致自变量在梯度值较小的维度上迭代过慢。AdaGrad算法根据自变量在每个维度的梯度值的大小来调整各个维度上的学习率，从而避免统一的学习率难以适应所有维度的问题 。

AdaGrad算法使用一个小批量随机梯度${\mathbf{g}}_t$按元素平方的累加变量${\mathbf{s}}_t$。在时间步0，AdaGrad将${\mathbf{s}}_0$中每个元素初始化为0。在时间步$t$，首先将小批量随机梯度${\mathbf{g}}_t$按元素平方后累加到变量${\mathbf{s}}_t$：

$${\mathbf{s}}_t\leftarrow {\mathbf{s}}_{t-1}+{\mathbf{g}}_t\odot {\mathbf{g}}_t,$$
其中$\odot$是按元素相乘。接着，我们将目标函数自变量中每个元素的学习率通过按元素运算重新调整一下：

$${\mathbf{x}}_t\leftarrow {\mathbf{x}}_{t-1}-\frac{\eta }{\sqrt{{\mathbf{s}}_t+ϵ}}\odot {\mathbf{g}}_t,$$
其中$\eta$是学习率，$ϵ$是为了维持数值稳定性而添加的常数，如$10^{-6}$。这里开方、除法和乘法的运算都是按元素运算的***。这些按元素运算使得目标函数自变量中每个元素都分别拥有自己的学习率*。

特点

小批量随机梯度按元素平方的累加变量${\mathbf{s}}_t$出现在学习率的分母项中，因此，如果目标函数有关自变量中某个元素的偏导数一直都较大，那么该元素的学习率将下降较快；反之，如果目标函数有关自变量中某个元素的偏导数一直都较小，那么该元素的学习率将下降较慢。然而，由于${\mathbf{s}}_t$一直在累加按元素平方的梯度，自变量中每个元素的学习率在迭代过程中一直在降低（或不变）。所以，当学习率在迭代早期降得较快且当前解依然不佳时，AdaGrad算法在迭代后期由于学习率过小，可能较难找到一个有用的解。

• AdaGrad算法在迭代过程中不断调整学习率，并让目标函数自变量中每个元素都分别拥有自己的学习率。
• 使用AdaGrad算法时，自变量中每个元素的学习率在迭代过程中一直在降低（或不变），因此可以采用较大的学习率（但也不能太大），以避免学习率一直衰减造成的收敛速度变慢。

RMSprop

---

AdaGrad算法在迭代后期由于学习率过小，可能较难找到一个有用的解。为了解决这一问题，RMSProp算法对AdaGrad算法做了一点小小的修改。

不同于AdaGrad算法里状态变量${\mathbf{s}}_t$是截至时间步$t$所有小批量随机梯度${\mathbf{g}}_t$按元素平方和，RMSProp算法将这些梯度按元素平方做指数加权移动平均。具体来说，给定超参数$0\le \gamma <1$，RMSProp算法在时间步$t>0$计算

$${\mathbf{s}}_t\leftarrow \gamma {\mathbf{s}}_{t-1}+(1-\gamma ){\mathbf{g}}_t\odot {\mathbf{g}}_t.$$
和AdaGrad算法一样，RMSProp算法将目标函数自变量中每个元素的学习率通过按元素运算重新调整，然后更新自变量

$${\mathbf{x}}_t\leftarrow {\mathbf{x}}_{t-1}-\frac{\eta }{\sqrt{{\mathbf{s}}_t+ϵ}}\odot {\mathbf{g}}_t,$$
其中$\eta$是学习率，$ϵ$是为了维持数值稳定性而添加的常数，如$10^{-6}$。因为RMSProp算法的状态变量${\mathbf{s}}_t$是对平方项${\mathbf{g}}_t\odot {\mathbf{g}}_t$的指数加权移动平均，所以可以看作最近$1/(1-\gamma )$个时间步的小批量随机梯度平方项的加权平均。如此一来，自变量每个元素的学习率在迭代过程中就不再一直降低（或不变）。

• RMSProp算法和AdaGrad算法的不同在于，RMSProp算法使用了小批量随机梯度按元素平方的指数加权移动平均来调整学习率。

AdaDelta

---

除了RMSProp算法以外，另一个常用优化算法AdaDelta算法也针对AdaGrad算法在迭代后期可能较难找到有用解的问题做了改进，AdaDelta算法没有学习率这一超参数。

AdaDelta算法也像RMSProp算法一样，使用了小批量随机梯度${\mathbf{g}}_t$按元素平方的指数加权移动平均变量${\mathbf{s}}_t$。在时间步0，它的所有元素被初始化为0。给定超参数$0\le \rho <1$（对应RMSProp算法中的$\gamma$），在时间步$t>0$，同RMSProp算法一样计算

$${\mathbf{s}}_t\leftarrow \rho {\mathbf{s}}_{t-1}+(1-\rho ){\mathbf{g}}_t\odot {\mathbf{g}}_t.$$
与RMSProp算法不同的是，AdaDelta算法还维护一个额外的状态变量 $\Delta {\mathbf{x}}_t$ ，其元素同样在时间步0时被初始化为0。我们使用 $\Delta {\mathbf{x}}_{t-1}$ 来计算自变量的变化量：

$${\mathbf{g}}_t^{\prime }\leftarrow \sqrt{\frac{\Delta {\mathbf{x}}_{t-1}+ϵ}{{\mathbf{s}}_t+ϵ}}\odot {\mathbf{g}}_t,$$
其中$ϵ$是为了维持数值稳定性而添加的常数，如$10^{-5}$。接着更新自变量：

$${\mathbf{x}}_t\leftarrow {\mathbf{x}}_{t-1}-{\mathbf{g}}_t^{\prime }.$$
最后，使用$\Delta {\mathbf{x}}_t$来记录自变量变化量${\mathbf{g}}_t^{\prime }$按元素平方的指数加权移动平均：

$$\Delta {\mathbf{x}}_t\leftarrow \rho \Delta {\mathbf{x}}_{t-1}+(1-\rho ){\mathbf{g}}_t^{\prime }\odot {\mathbf{g}}_t^{\prime }.$$
可以看到，如不考虑$ϵ$的影响，AdaDelta算法与RMSProp算法的不同之处在于使用$\sqrt{\Delta {\mathbf{x}}_{t-1}}$来替代超参数$\eta$。

Adam

---

Adam算法在RMSProp算法基础上对小批量随机梯度也做了指数加权移动平均。

Adam算法使用了动量变量${\mathbf{v}}_t$和RMSProp算法中小批量随机梯度按元素平方的指数加权移动平均变量${\mathbf{s}}_t$，并在时间步0将它们中每个元素初始化为0。给定超参数$0\le {\beta }_1<1$（算法作者建议设为0.9），时间步$t$的动量变量${\mathbf{v}}_t$即小批量随机梯度${\mathbf{g}}_t$的指数加权移动平均：
$${\mathbf{v}}_t\leftarrow {\beta }_1{\mathbf{v}}_{t-1}+(1-{\beta }_1){\mathbf{g}}_t.$$
和RMSProp算法中一样，给定超参数$0\le {\beta }_2<1$（算法作者建议设为0.999），
将小批量随机梯度按元素平方后的项${\mathbf{g}}_t\odot {\mathbf{g}}_t$做指数加权移动平均得到${\mathbf{s}}_t$：

$${\mathbf{s}}_t\leftarrow {\beta }_2{\mathbf{s}}_{t-1}+(1-{\beta }_2){\mathbf{g}}_t\odot {\mathbf{g}}_t.$$
由于我们将 ${\mathbf{v}}_0$ 和 ${\mathbf{s}}_0$ 中的元素都初始化为0，在时间步$t$我们得到 ${\mathbf{v}}_t=(1-{\beta }_1){\sum }_{i=1}^t{\beta }_1^{t-i}{\mathbf{g}}_i$ 。将过去各时间步小批量随机梯度的权值相加，得到 $(1-{\beta }_1){\sum }_{i=1}^t{\beta }_1^{t-i}=1-{\beta }_1^t$ 。需要注意的是，当$t$较小时，过去各时间步小批量随机梯度权值之和会较小。例如，当 ${\beta }_1=0.9$ 时，${\mathbf{v}}_1=0.1{\mathbf{g}}_1$ 。为了消除这样的影响，对于任意时间步$t$，我们可以将 ${\mathbf{v}}_t$ 再除以 $1-{\beta }_1^t$ ，从而使过去各时间步小批量随机梯度权值之和为1。这也叫作偏差修正。在Adam算法中，我们对变量 ${\mathbf{v}}_t$ 和 ${\mathbf{s}}_t$ 均作偏差修正：

$${\hat{\mathbf{v}}}_t\leftarrow \frac{{\mathbf{v}}_t}{1-{\beta }_1^t},$$

$${\hat{\mathbf{s}}}_t\leftarrow \frac{{\mathbf{s}}_t}{1-{\beta }_2^t}.$$

接下来，Adam算法使用以上偏差修正后的变量${\hat{\mathbf{v}}}_t$和${\hat{\mathbf{s}}}_t$，将模型参数中每个元素的学习率通过按元素运算重新调整：

$${\mathbf{g}}_t^{\prime }\leftarrow \frac{\eta {\hat{\mathbf{v}}}_t}{\sqrt{{\hat{\mathbf{s}}}_t}+ϵ},$$
其中$\eta$是学习率，$ϵ$是为了维持数值稳定性而添加的常数，如$10^{-8}$。和AdaGrad算法、RMSProp算法以及AdaDelta算法一样，目标函数自变量中每个元素都分别拥有自己的学习率。最后，使用${\mathbf{g}}_t^{\prime }$迭代自变量：

$${\mathbf{x}}_t\leftarrow {\mathbf{x}}_{t-1}-{\mathbf{g}}_t^{\prime }.$$

• Adam算法在RMSProp算法的基础上对小批量随机梯度也做了指数加权移动平均。
• Adam算法使用了偏差修正。