深度学习优化算法

深度学习优化算法

梯度下降想必没有人不知道，深度学习的优化算法都是基于梯度下降，这里对一些算法做一个总结。

Momentum

又称动量法，将目标函数梯度的指数加权平均作为更新的方向。
$$\begin{gathered} {\mathbf{v}}_t=\gamma {\mathbf{v}}_{t-1}+{\eta }_t{\mathbf{g}}_t \\ {\mathbf{x}}_t={\mathbf{x}}_{t-1}-{\mathbf{v}}_t \end{gathered}$$
$\gamma$为超参数，满足$0\le \gamma <1$；${\mathbf{v}}_t$为动量变量，在时间步0初始化为$0$；${\mathbf{g}}_t$目标函数为在时间步$t$的小批量梯度；${\eta }_t$为时间步$t$的学习率。

动量法近似于将最近$\frac{1}{1-\gamma }$个时间步的普通更新量做了指数加权平均。因此，自变量在各个方向上的移动幅度不仅取决于当前梯度，还取决于过去的各个梯度在各个方向上是否一致，避免自变量更新幅度过大导致越过最优解。

AdaGrad

AdaGrad算法使用一个小批量梯度${\mathbf{g}}_t$按元素平方的累加变量${\mathbf{s}}_t$。在时间步0，将${\mathbf{s}}_0$初始化为$0$，在时间步$t$，令
$$\begin{gathered} {\mathbf{s}}_t={\mathbf{s}}_{t-1}+{\mathbf{g}}_t\odot {\mathbf{g}}_t \\ {\mathbf{x}}_t={\mathbf{x}}_{t-1}-\frac{\eta }{\sqrt{{\mathbf{s}}_t+ϵ}}\odot {\mathbf{g}}_t \end{gathered}$$
$ϵ$是一个极小的常数，用于维持数值稳定性，如$10^{-6}$。

很显然，AdaGrad算法能够避免梯度过大。若某元素的偏导数一直较大，那么该元素的学习率下降较快；反之该元素的学习率下降较慢。

由于${\mathbf{s}}_t$一直在增大，那么学习率就一直降低。所以，当学习率在迭代早期降得过快且当前解依然不佳时，AdaGrad算法在迭代后期由于学习率过小，可能较难找到一个有用的解。

RMSProp

AdaGrad算法的缺点十分明显，因此，RMSProp对AdaGrad算法做了一点修改。不同于AdaGrad算法中的${\mathbf{s}}_t$是所有小批量梯度${\mathbf{g}}_t$的平方和，RMSProp算法将梯度的平方做指数加权移动平均。也就是说
$$\begin{gathered} {\mathbf{s}}_t=\gamma {\mathbf{s}}_{t-1}+(1-\gamma ){\mathbf{g}}_t\odot {\mathbf{g}}_t \\ {\mathbf{x}}_t={\mathbf{x}}_{t-1}-\frac{\eta }{\sqrt{{\mathbf{s}}_t+ϵ}}\odot {\mathbf{g}}_t \end{gathered}$$
RMSProp的状态变量${\mathbf{s}}_t$可以看作是最近$\frac{1}{1-\gamma }$个时间步的小批量梯度的平方的加权平均，这样学习率就不会一直降低。

AdaDelta

AdaDelta算法也是针对AdaGrad算法的缺点做了改进，与RMSProp算法一样，AdaDelta算法的状态变量${\mathbf{s}}_t$的计算方式为
$${\mathbf{s}}_t=\rho {\mathbf{s}}_{t-1}+(1-\rho ){\mathbf{g}}_t\odot {\mathbf{g}}_t$$
$0\le \rho <1$。

AdaDelta算法还维护了额外的状态变量$\Delta {\mathbf{x}}_t$，在时间步0初始化为$0$，使用$\Delta {\mathbf{x}}_{t-1}$来计算自变量的变化量
$${\mathbf{g}}_t^{\prime }=\sqrt{\frac{\Delta {\mathbf{x}}_{t-1}+ϵ}{{\mathbf{s}}_t+ϵ}}\odot {\mathbf{g}}_t$$
之后更新自变量
$${\mathbf{x}}_t={\mathbf{x}}_{t-1}-{\mathbf{g}}_t^{\prime }$$
最后，使用$\Delta {\mathbf{x}}_t$来记录自变量变化量${\mathbf{g}}_t^{\prime }$按元素平方的指数加权移动平均
$$\Delta {\mathbf{x}}_t=\rho \Delta {\mathbf{x}}_{t-1}+(1-\rho ){\mathbf{g}}_t^{\prime }\odot {\mathbf{g}}_t^{\prime }$$
可以看到，AdaDelta没有学习率参数，而是使用$\sqrt{\Delta {\mathbf{x}}_{t-1}}$来代替学习率。

Adam

Adam算法在RMSProp算法的基础上对小批量梯度也做了指数加权移动平均，可以看成RMSProp和Momentum的结合

Adam算法使用了动量变量${\mathbf{v}}_t$和RMSProp算法中的状态变量${\mathbf{s}}_t$，在时间步0均初始化为$0$。给定超参数${\beta }_1$（作者推荐设为0.9）和${\beta }_2$（作者推荐设为0.999），两者的计算方式为
$$\begin{gathered} {\mathbf{v}}_t={\beta }_1{\mathbf{v}}_{t-1}+(1-{\beta }_1){\mathbf{g}}_t \\ {\mathbf{s}}_t={\beta }_2{\mathbf{s}}_{t-1}+(1-{\beta }_2){\mathbf{g}}_t\odot {\mathbf{g}}_t \end{gathered}$$
由于${\mathbf{s}}_0$和${\mathbf{v}}_0$均为$0$，在时间步$t$有${\mathbf{v}}_t=(1-{\beta }_1){\sum }_{i=1}^t{\beta }_1^{t-i}{\mathbf{g}}_i$，各个小批量梯度的权值累加起来为$(1-{\beta }_1){\sum }_{i=1}^t{\beta }_1^{t-i}=1-{\beta }_1^t$。当$t$较小时，过去各个小批量t梯度的权值之和会比较小，如当${\beta }_1=0.9$${\mathbf{v}}_1=0.1{\mathbf{g}}_1$，为了消除这个影响，对于任意时间步$t$，将${\mathbf{v}}_t$除以$1-{\beta }_1^t$，从而使过去各个时间步小批量梯度的权值之和为1，这也叫偏差修正
$$\begin{gathered} {\hat{\mathbf{v}}}_t=\frac{{\mathbf{v}}_t}{1-{\beta }_1^t} \\ {\hat{\mathbf{s}}}_t=\frac{{\mathbf{s}}_t}{1-{\beta }_2^t} \end{gathered}$$
之后，使用修正后的变量${\hat{\mathbf{v}}}_t$和${\hat{\mathbf{s}}}_t$，计算自变量变化量
$${\mathbf{g}}_t^{\prime }=\frac{\eta {\hat{\mathbf{v}}}_t}{\sqrt{{\hat{\mathbf{s}}}_t}+ϵ}$$
$\eta$是学习率，最后使用${\mathbf{g}}_t^{\prime }$更新自变量
$${\mathbf{x}}_t={\mathbf{x}}_{t-1}-{\mathbf{g}}_t^{\prime }$$
显然，还可以将Adam算法和AdaDelta算法结合，使用$\sqrt{\Delta {\mathbf{x}}_{t-1}}$来代替学习率。

总结

Momentum对梯度做了指数加权平均，防止更新幅度过大越过最优解。

AdaGrad对梯度的平方求和，防止更新幅度过大，但学习率会一直降低。

RMSProp对AdaGrad做了改进，对梯度的平方做指数加权移动平均，学习率不会一直降低。

AdaDelta也是对AdaGrad的改进，对自变量的变化量平方的指数加权平均开根号，代替学习率。

Adam可以看作是Momentum和RMSProp的结合，即对梯度做了加权平均，也用梯度平方的加权平均来防止更新幅度过大。

总的来说，Momentum对更新方向做修正，AdaGrad、RMSProp和AdaDelta对学习率做修正，Adam对更新方向和学习率都做了修正。