优化算法--Adagrad，RMSProp，AdaDelta，Adam

优化算法–Adagrad

自适应学习率

​ 随机梯度下降算法，目标函数自变量的每一个元素在相同时间步都使用同一个学习率来自我迭代。举个例子，假设目标函数为$f$，自变量为一个二维向量$[x_1,x_2{]}^{\top }$，该向量中每一个元素在迭代时都使用相同的学习率。例如，在学习率为$\eta$的梯度下降中，元素$x_1$和$x_2$都使用相同的学习率$\eta$来自我迭代：
$$x_1\leftarrow x_1-\eta \frac{\partial f}{\partial x_1},x_2\leftarrow x_2-\eta \frac{\partial f}{\partial x_2}.$$
在上一篇 “优化算法momentum” 里我们看到当$x_1$和$x_2$的梯度值有较大差别时，需要选择足够小的学习率使得自变量在梯度值较大的维度上不发散。但这样会导致自变量在梯度值较小的维度上迭代过慢。动量法依赖指数加权移动平均使得自变量的更新方向更加一致，从而降低发散的可能。在工程上，我们也有比较粗糙的手段：随着迭代次数增多，学习率递减，比如(0,1000)次–>$\eta=$0.1，(1000,2000)次-->$\eta=$0.01，(2000,5000)次-->$\eta=$0.001，也就是刚开始步子迈大一点，到了比较接近底部的时候步子迈小一点，年轻的时候闯一闯，年纪大了就求稳了。AdaGrad算法，它根据自变量在每个维度的梯度值的大小来调整各个维度上的学习率，从而避免统一的学习率难以适应所有维度的问题。

AdaGrad

​ AdaGrad算法会使用一个小批量随机梯度${\mathbf{g}}_t$按元素平方的累加变量${\mathbf{s}}_t$。在时间步0，AdaGrad将${\mathbf{s}}_0$中每个元素初始化为0。在时间步$t$，首先将小批量随机梯度${\mathbf{g}}_t$按元素平方后累加到变量${\mathbf{s}}_t$：

​ $${\mathbf{s}}_t\leftarrow {\mathbf{s}}_{t-1}+{\mathbf{g}}_t\odot {\mathbf{g}}_t,$$

​ 其中$\odot$是按元素相乘。接着，我们将目标函数自变量中每个元素的学习率通过按元素运算重新调整一下：

​ $${\mathbf{x}}_t\leftarrow {\mathbf{x}}_{t-1}-\frac{\eta }{\sqrt{{\mathbf{s}}_t+ϵ}}\odot {\mathbf{g}}_t,$$

​ 其中$\eta$是学习率，$ϵ$是为了维持数值稳定性而添加的常数，如$10^{-6}$。这里开方、除法和乘法的运算都是按元素运算的。这些按元素运算使得目标函数自变量中每个元素都分别拥有自己的学习率。

AdaGrad的特点

​ 需要强调的是，小批量随机梯度按元素平方的累加变量${\mathbf{s}}_t$出现在学习率的分母项中。因此，如果目标函数有关自变量中某个元素的偏导数一直都较大，那么该元素的学习率将下降较快；反之，如果目标函数有关自变量中某个元素的偏导数一直都较小，那么该元素的学习率将下降较慢。然而 ，由于${\mathbf{s}}_t$一直在累加按元素平方的梯度，自变量中每个元素的学习率在迭代过程中一直在降低（或不变）。所以，当学习率在迭代早期降得较快且当前解依然不佳时，AdaGrad算法在迭代后期由于学习率过小，可能较难找到一个有用的解。

优化算法–RMSProp

思想：AdaGrad+momentum

​ AdaGrad算法因为调整学习率时分母上的变量${\mathbf{s}}_t$一直在累加按元素平方的小批量随机梯度，所以目标函数自变量每个元素的学习率在迭代过程中一直在降低（或不变）。为了解决这一问题，RMSProp算法对AdaGrad算法做了一些改进，并且结合了momentum中指数加权移动平均的思想。

RMSProp

​ 不同于AdaGrad算法里状态变量${\mathbf{s}}_t$是截至时间步$t$所有小批量随机梯度${\mathbf{g}}_t$按元素平方和，RMSProp算法将这些梯度按元素平方做指数加权移动平均。给定超参数$0\le \gamma <1$，RMSProp算法在时间步$t>0$计算

​ $${\mathbf{s}}_t\leftarrow \gamma {\mathbf{s}}_{t-1}+(1-\gamma ){\mathbf{g}}_t\odot {\mathbf{g}}_t.$$

​ 和AdaGrad算法一样，RMSProp算法将目标函数自变量中每个元素的学习率通过按元素运算重新调整，然后更新自变量

​ $${\mathbf{x}}_t\leftarrow {\mathbf{x}}_{t-1}-\frac{\eta }{\sqrt{{\mathbf{s}}_t+ϵ}}\odot {\mathbf{g}}_t,$$

​ 其中$\eta$是学习率，$ϵ$是为了维持数值稳定性而添加的常数，如$10^{-6}$。因为RMSProp算法的状态变量${\mathbf{s}}_t$是对平方项${\mathbf{g}}_t\odot {\mathbf{g}}_t$的指数加权移动平均，所以可以看作是最近$1/(1-\gamma )$个时间步的小批量随机梯度平方项的加权平均。如此一来，自变量每个元素的学习率在迭代过程中就不再一直降低（或不变）。

AdaDelta算法

​ 我们经常讲如果你只能调节一个超参数，那么你就调节学习率，调一个好的学习率是比较困难的，学习率太大会在底部振荡（步子要一步一步的迈，步子迈大了容易扯着dan），学习率太小，可能无法达到损失函数的极小值。既然学习率调节这么麻烦（就是个祸害），那么就有人想要为民除害，AdaDelta算法就是这样的”侠客“。

​ AdaDelta算法也像RMSProp算法一样，使用了小批量随机梯度${\mathbf{g}}_t$按元素平方的指数加权移动平均变量${\mathbf{s}}_t$。在时间步0，它的所有元素被初始化为0。给定超参数$0\le \rho <1$（对应RMSProp算法中的$\gamma$），在时间步$t>0$，同RMSProp算法一样计算

​ $${\mathbf{s}}_t\leftarrow \rho {\mathbf{s}}_{t-1}+(1-\rho ){\mathbf{g}}_t\odot {\mathbf{g}}_t.$$

​ 与RMSProp算法不同的是，AdaDelta算法还维护一个额外的状态变量$\Delta {\mathbf{x}}_t$，其元素同样在时间步0时被初始化为0。我们使用$\Delta {\mathbf{x}}_{t-1}$来计算自变量的变化量：

​ $${\mathbf{g}}_t^{\prime }\leftarrow \sqrt{\frac{\Delta {\mathbf{x}}_{t-1}+ϵ}{{\mathbf{s}}_t+ϵ}}\odot {\mathbf{g}}_t,$$

​ 其中$ϵ$是为了维持数值稳定性而添加的常数，如$10^{-5}$。接着更新自变量：

​ $${\mathbf{x}}_t\leftarrow {\mathbf{x}}_{t-1}-{\mathbf{g}}_t^{\prime }.$$

最后，我们使用$\Delta {\mathbf{x}}_t$来记录自变量变化量${\mathbf{g}}_t^{\prime }$按元素平方的指数加权移动平均：

​ $$\Delta {\mathbf{x}}_t\leftarrow \rho \Delta {\mathbf{x}}_{t-1}+(1-\rho ){\mathbf{g}}_t^{\prime }\odot {\mathbf{g}}_t^{\prime }.$$

​ 可以看到，如不考虑$ϵ$的影响，AdaDelta算法跟RMSProp算法的不同之处在于使用$\sqrt{\Delta {\mathbf{x}}_{t-1}}$来替代学习率$\eta$。

Adam算法

RMSProp + momentum

​ Adam算法在RMSProp算法基础上对小批量随机梯度也做了指数加权移动平均 。

​ Adam算法使用了动量变量${\mathbf{v}}_t$和RMSProp算法中小批量随机梯度按元素平方的指数加权移动平均变量${\mathbf{s}}_t$，并在时间步0将它们中每个元素初始化为0。给定超参数$0\le {\beta }_1<1$（算法作者建议设为0.9），时间步$t$的动量变量${\mathbf{v}}_t$即小批量随机梯度${\mathbf{g}}_t$的指数加权移动平均：

​ $${\mathbf{v}}_t\leftarrow {\beta }_1{\mathbf{v}}_{t-1}+(1-{\beta }_1){\mathbf{g}}_t.$$

和RMSProp算法中一样，给定超参数$0\le {\beta }_2<1$（算法作者建议设为0.999），
将小批量随机梯度按元素平方后的项${\mathbf{g}}_t\odot {\mathbf{g}}_t$做指数加权移动平均得到${\mathbf{s}}_t$：

​ $${\mathbf{s}}_t\leftarrow {\beta }_2{\mathbf{s}}_{t-1}+(1-{\beta }_2){\mathbf{g}}_t\odot {\mathbf{g}}_t.$$

​ 由于我们将${\mathbf{v}}_0$和${\mathbf{s}}_0$中的元素都初始化为0，在时间步$t$我们得到${\mathbf{v}}_t=(1-{\beta }_1){\sum }_{i=1}^t{\beta }_1^{t-i}{\mathbf{g}}_i$。将过去各时间步小批量随机梯度的权值相加，得到 $(1-{\beta }_1){\sum }_{i=1}^t{\beta }_1^{t-i}=1-{\beta }_1^t$。需要注意的是，当$t$较小时，过去各时间步小批量随机梯度权值之和会较小。例如，当${\beta }_1=0.9$时，${\mathbf{v}}_1=0.1{\mathbf{g}}_1$。为了消除这样的影响，对于任意时间步$t$，我们可以将${\mathbf{v}}_t$再除以$1-{\beta }_1^t$，从而使过去各时间步小批量随机梯度权值之和为1。这也叫作偏差修正。在Adam算法中，我们对变量${\mathbf{v}}_t$和${\mathbf{s}}_t$均作偏差修正：

​ $${\hat{\mathbf{v}}}_t\leftarrow \frac{{\mathbf{v}}_t}{1-{\beta }_1^t},$$

​ $${\hat{\mathbf{s}}}_t\leftarrow \frac{{\mathbf{s}}_t}{1-{\beta }_2^t}.$$

​ 接下来，Adam算法使用以上偏差修正后的变量${\hat{\mathbf{v}}}_t$和${\hat{\mathbf{s}}}_t$，将模型参数中每个元素的学习率通过按元素运算重新调整：

​ $${\mathbf{g}}_t^{\prime }\leftarrow \frac{\eta {\hat{\mathbf{v}}}_t}{\sqrt{{\hat{\mathbf{s}}}_t}+ϵ},$$

​ 其中$\eta$是学习率，$ϵ$是为了维持数值稳定性而添加的常数，如$10^{-8}$。和AdaGrad算法、RMSProp算法以及AdaDelta算法一样，目标函数自变量中每个元素都分别拥有自己的学习率。最后，使用${\mathbf{g}}_t^{\prime }$迭代自变量：

​ $${\mathbf{x}}_t\leftarrow {\mathbf{x}}_{t-1}-{\mathbf{g}}_t^{\prime }.$$

总结

1. 建议阅读顺序为：SGD–>momentum–>AdaGrad–>RMSProp–>AdaDelta–>Adam，整个优化算法的发展越来越收到学术界和工业界的重视。

2. 在人工智能学习中(Y=wX+b)可以大致分为：通过样本(X–>Y)建立模型(w,b),这是What，如何获得一个比较好的模型，这是How。

3. 现在what因为这几年深度学习框架的发展得到了一个不错的发展，大家的模型框架都趋于同质化，当然这里面也有很多Track，但是How，也就是优化的发展相对于比较缓慢，最近刚刚有国内的学者刚刚发布了R-Adam，引起了不小的轰动，还有一些paper在用传统的控制算法的思路如PID中比例，积分，微分来优化模型，但这块的突破并不像模型框架从AlexNet，VGG16，GoogleNet，ResNet，Faster RCNN，Yolo，Unet；优化算法的突破比较难，因为需要底层数学的突破，而模型框架更多的是工程创新，更多的是通过算力不断的尝试。

看完这个系列你就能看懂这首诗

梯度下降可沉甸，随机降低方差难。

引入动量别弯慢，Adagrad梯方贪。

Adadelta学率换，RMSProp梯方权。

Adam动量RMS伴，优化还需己调参。

注释

梯方：梯度按元素平方

贪：因贪婪故而不断累加

学率：学习率