优化方法总结比较(SGD,Momentum,Nesterov,Adagrad,Adadelta,RMSprop,Adam,Adamax,Nadam,DFP,BFGS)

随机梯度下降法

Batch Gradient Descent

在每一轮的训练过程中，BGD算法用整个训练集的数据计算loss的梯度，并用该梯度对模型参数进行更新：
$${\theta }_{k+1}={\theta }_k+\Delta \theta ,\Delta \theta =-\eta \ast g_k$$ 优点

• loss若为凸函数，能够保证收敛到全局最优值；若为非凸函数，能够收敛到局部最优值

缺点

• 由于每轮迭代都需要在整个数据集上计算一次，批量梯度下降可能非常慢(每轮会计算很多相似样本的梯度, 这部分是冗余的)
• 训练数较多时，需要较大内存
• 批量梯度下降不允许在线更新模型，例如新增实例

Stochastic Gradient Descent

SGD是相对于BGD而生的。与BGD相反，SGD算法每读入一个数据，便立刻计算loss的梯度来更新参数：
$${\theta }_{k+1}={\theta }_k+\Delta \theta ,\Delta \theta =-\eta \ast g_{k,i}$$ 优点

• 算法收敛速度快
• 可以在线更新
• 有几率跳出一个比较差的局部最优而收敛到一个更好的局部最优甚至是全局最优

缺点

• 容易收敛到局部最优，并且容易被困在鞍点

Mini-batch Gradient Descent

最初的使用的SGD，每次正反向传播，只计算一个样本，串行太明显，硬件利用率不高。后续SGD衍生出Mini-Batch Gradient Descent，介于BGD和SGD之间，每次从所有训练数据中取出100个样本(一个mini-batch)用于计算梯度：
$${\theta }_{k+1}={\theta }_k+\Delta \theta ,\Delta \theta =-\eta \ast g_{k,i:i+n}$$现在，SGD通常是指Mini-Batch方法，而不是早期的单样本SGD方法。

优点

• 在每轮迭代中仅仅计算一个mini-batch的梯度，不仅计算效率高，而且收敛较为稳定

缺点 (三种随机梯度下降法均存在）

• 选择合适的learning rate比较困难，学习率太低会收敛缓慢，学习率过高会使收敛时的波动过大
• 对所有的参数更新使用同样的learning rate。如果训练数据是稀疏的，并且不同特征的出现频率差异较大，比较合理的做法是对于出现频率低的特征设置较大的学习速率，对于出现频率较大的特征数据设置较小的学习速率。
• SGD容易收敛到局部最优，并且在某些情况下可能被困在鞍点。近期的的研究表明，深层神经网络之所以比较难训练，并不是因为容易进入local minimum。相反，由于网络结构非常复杂，在绝大多数情况下即使是 local minimum 也可以得到非常好的结果。而之所以难训练是因为学习过程容易陷入到马鞍面中，即在坡面上，一部分点是上升的，一部分点是下降的。但在合适的初始化和step size的情况下，鞍点的影响并没这么大。

动量优化法

Momentum

Momentum算法借用了物理中的动量概念，它模拟的是物体运动时的惯性，即更新的时候在一定程度上保留之前更新的方向，同时利用当前batch的梯度微调最终的更新方向。Momentum算法观察历史梯度，若当前梯度的方向与历史梯度一致（表明当前样本不太可能为异常点），则会增强这个方向的梯度，若当前梯度与历史梯方向不一致，则梯度会衰减。
$$\begin{array}{rl}& m_k=\mu \ast m_{k-1}+g_k\\ & \Delta {\theta }_k=-\eta \ast m_k\end{array}$$ 其中，$\mu$是动量因子

优点

• 前后梯度方向一致时，能够加速学习
• 前后梯度方向不一致时，能够抑制震荡
• 下降中后期时，在局部最小值来回震荡的时候，$\text{gradient}\to 0$，$\mu$ 使得更新幅度增大，有一定摆脱局部最优的能力

Nesterov

Nesterov项是momentum的改进，在梯度更新时做一个校正，让之前的动量直接影响当前的动量，避免前进太快，同时提高灵敏度。
Momentum梯度更新展开为$$\Delta {\theta }_k=-\eta \ast \mu \ast m_{k-1}-\eta \ast g_k$$当前梯度$\theta$为$${\theta }_{k+1}={\theta }_k-\eta \ast \mu \ast m_{k-1}-\eta \ast g_k$$可以看出，$m_{k-1}$并没有直接改变当前梯度$g_k$。Nesterov可将${\theta }_k-\eta \ast \mu \ast m_{k-1}$看做当前优化的一个“展望”项，对该项进行求导，让之前的动量直接影响当前梯度$g_k$。
$$\begin{array}{rl}& g_k={\nabla }_{{\theta }_k}f\left({\theta }_k-\eta \ast \mu \ast m_{k-1}\right)\\ & m_k=\mu \ast m_{k-1}+g_k\\ & \Delta {\theta }_k=-\eta \ast m_k\end{array}$$

缺点

• 人工设置的学习率非常生硬

自适应学习率优化法

Adagrad

AdaGrad思路基本是借鉴L2 Regularizer，不过此时调节的不是W，而是Gradient：$$\begin{array}{rl}& n_k=n_{k-1}+g_k^2\\ & \Delta {\theta }_k=-\frac{\eta }{\sqrt{n_k+ϵ}}\ast g_k\end{array}$$AdaGrad过程，是一个递推过程，每次对$g_k$从1到$k$，把沿路的Gradient的平方根作为一个约束项Regularizer，$$-\frac{1}{\sqrt{{\sum }_{r=1}^k{\left(g_r\right)}^2+ϵ}}$$$ϵ$是平滑项，用于避免分母为0，一般取值1e−8。
Adagrad算法对学习率进行了一个约束，能够在训练中自动的对learning rate进行调整，对于出现频率较低参数采用较大的梯度更新；相反，对于出现频率较高的参数采用较小的梯度更新。

优点

• 由于Regularizer是专门针对Gradient的，所以有利于解决Gradient Vanish/Expoloding问题
• 能够实现学习率的自动更改，前期梯度较小的时候， regularizer较大，能够放大梯度，后期梯度较大的时候，regularizer较小，能够约束梯度
• 非常适合处理稀疏数据

缺点

• 仍需要手动设置一个全局学习率 , 如果learning rate设置过大的话，会使regularizer过于敏感，对梯度的调节太大
• 训练到中后期，分母中对历史梯度一直累加，学习率将逐渐下降至0，使得训练提前结束
• 初始化W影响初始化梯度，如果初始梯度很大的话，会导致整个训练过程的学习率很小，导致学习时间变长

Adadelta

AdaDelta基本思想是用一阶的方法，近似模拟二阶牛顿法。

1. Accumulate Over Window
   Adagrad会累加之前所有的梯度平方，而Adadelta只在一个窗口w中对梯度进行累加，这样不会让梯度被惩罚至0。
   由于计算$E[g_k-w:k]$，需要存储前w个状态，比较麻烦。AdaDelta使用了类似动量因子的平均方法：
   $$\begin{array}{rl}& n_k=\nu \ast n_{k-1}+(1-\nu )\ast g_k^2\\ & \Delta {\theta }_k=-\frac{\eta }{\sqrt{n_k+ϵ}}\ast g_k\end{array}$$其中$n_k=E{\left[g^2\right]}_k$，即$$E{\left[g^2\right]}_k=\nu E{\left[g^2\right]}_{k-1}+(1-\nu )g_k^2$$相当于历史梯度信息的$E{\left[g^2\right]}_{k-1}$累计乘上一个衰减系数$\nu$，然后用$(1-\nu )$作为当前梯度的平方加权系数相加。
   在此处Adadelta其实还是依赖于全局学习率$\eta$，因此采用近似牛顿迭代法继续改进：
2. Correct Units with Hessian Approximation
   在SGD和动量法中，$$\Delta x\propto g\propto \frac{\partial f}{\partial x}\propto \frac{1}{x}$$ $\Delta x$ 可以正比到梯度$g$问题，再正比到一阶导数。而$log$一阶导又可正比于$\frac{1}{x}$；
   对二阶导Hessian矩阵法，$$\Delta x\propto H^{-1}g\propto \frac{\frac{\partial f}{\partial x}}{\frac{{\partial }^{2}f}{\partial x^2}}\propto \frac{\frac{1}{x}}{\frac{1}{x}\ast \frac{1}{z}}\propto x$$ $\Delta x$ 可以正比到Hessian逆矩阵$H^{-1}\cdot g$问题，再正比到二阶导数。而$log$一阶导又可正比于$x$。可以看到，一阶方法最终正比于$\frac{1}{x}$，即与参数逆相关：参数逐渐变大的时候，梯度反而成倍缩小。
   而二阶方法最终正比于$x$，即与参数正相关：参数逐渐变大的时候，梯度不受影响。
   因此，Hessian方法得到了Correct Units(正确的更新单元)。
   通过牛顿法可以知道，牛顿法迭代步长是$f^{\prime \prime }(x)$,一阶牛顿迭代公式为：$$x_{k+1}=x_k-\frac{f^{\prime }(x)}{f^{\prime \prime }(x)}$$可以看出牛顿算法的迭代步长是二阶近似的解析解，不需要我们手动指定学习率。而高阶的牛顿法迭代的步长为Hessian矩阵。AdaDelta算法采用Hessian矩阵的对角线近似Hessian矩阵，则有：$$\Delta x\approx \frac{\frac{\partial f}{\partial x}}{\frac{{\partial }^{2}f}{\partial x^2}}$$进而又有：$$\frac{\frac{\partial f}{\partial x}}{\frac{{\partial }^{2}f}{\partial x^2}}=\frac{1}{\frac{{\partial }^{2}f}{\partial x^2}}\cdot \frac{\partial f}{\partial x}=\frac{1}{\frac{{\partial }^{2}f}{\partial x^2}}\cdot g_k$$简单收束变形一下, 然后用RMS来近似：$$\frac{1}{\frac{{\partial }^{2}f}{\partial z^2}}=\frac{\Delta x}{\frac{\partial f}{\partial x}}\approx -\frac{RMS[\Delta x{]}_{k-1}}{RMS[g{]}_k}$$
   最后，一阶完整近似式：
   $$\begin{array}{rl}& \Delta x=-\frac{RMS[\Delta x{]}_{k-1}}{RMS[g{]}_k}\cdot g_k\\ & x_{k+1}=x_k-\Delta x\end{array}$$

优点

• 训练初中期，加速效果很快。由于RMS永远为正，所以能保证更新的方向一直为梯度的负方向。
• 分子作为一个加速项，作为动量在时间窗口w上积累先前的梯度。
  缺点
• 训练后期，进入局部最小值雷区之后，反复在局部最小值附近抖动，脱离不了局部最小值吸引盆

RMSprop

RMSprop可以算作Adadelta的一个特例：
当$\nu =0.5$时，$$E{\left[g^2\right]}_k=\nu E{\left[g^2\right]}_{k-1}+(1-\nu )g_k^2$$就变为了求梯度平方和的平均数。若再求根的话，就变成了RMS(均方根)：
$$RMS[g{]}_k=\sqrt{E{\left[g^2\right]}_k+ϵ}$$再将RMS作为梯度的Regularizer：
$$\Delta x_k=-\frac{\eta }{RMS|g{|}_k}\ast g_k$$

优点

• 解决了对历史梯度一直累加而导致学习率一直下降的问题
• 适合处理非平稳目标
• 对于RNN效果很好

缺点

• RMSprop依然依赖于手动选择全局学习率

Adam

Adam(Adaptive Moment Estimation)本质上是带有动量项的RMSprop，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。Adam的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。
$$\begin{array}{rl}& m_k=\mu \ast m_{k-1}+(1-\mu )\ast g_k\\ & n_k=\nu \ast n_{k-1}+(1-\nu )\ast g_k^2\\ & \begin{array}{rl}{\hat{m}}_k& =\frac{m_k}{1-{\mu }^k}\\ {\hat{n}}_k& =\frac{n_k}{1-{\nu }^k}\end{array}\\ & \Delta {\theta }_k=-\frac{{\hat{m}}_k}{\sqrt{{\hat{n}}_k}+ϵ}\ast \eta \end{array}$$
其中，$m_k$，$n_k$分别是对梯度的一阶矩估计和二阶矩估计，可以看作对期望$E\left|g_k\right|$，$E\left|g_k^2\right|$的估计；${\hat{m}}_k$，${\hat{n}}_k$是对$m_k$，$n_k$的校正，这样可以近似为对期望的无偏估计。 可以看出，直接对梯度的矩估计对内存没有额外的要求，而且可以根据梯度进行动态调整，而$-\frac{\widehat{m_k}}{\sqrt{{\hat{n}}_k}+ϵ}$对学习率形成一个动态约束，而且有明确的范围。

优点

• 结合了Adagrad善于处理稀疏梯度和RMSprop善于处理非平稳目标的优点
• 对内存需求较小
• 为不同的参数计算不同的自适应学习率
• 也适用于大多非凸优化
• 适用于大数据集和高维空间

Adamax

Adamax是Adam的一种变体，此方法对学习率的上限提供了一个更简单的范围。公式上的变化如下：
$\begin{array}{rl}& n_k=\max \left(\nu \ast n_{k-1},\left|g_k\right|\right)\\ & \Delta x=-\frac{{\hat{m}}_k}{n_k+ϵ}\ast \eta \end{array}$
优点

• Adamax学习率的边界范围更简单

Nadam

Nadam类似于带有Nesterov动量项的Adam。公式如下：
$\begin{array}{rl}& {\hat{g}}_k=\frac{g_k}{1-{\Pi }_{i=1}^k{\mu }_i}\\ & m_k={\mu }_k\ast m_{k-1}+\left(1-{\mu }_k\right)\ast g_k\\ & {\hat{m}}_k=\frac{m_k}{1-{\Pi }_{i=1}^{k+1}{\mu }_i}\\ & n_k=\nu \ast n_{k-1}+(1-\nu )\ast g_k^2\\ & \widehat{n_k}=\frac{n_k}{1-{\nu }^k}{\bar{m}}_k=\left(1-{\mu }_k\right)\ast {\hat{g}}_k+{\mu }_{k+1}\ast {\hat{m}}_k\\ & \Delta {\theta }_k=-\eta \ast \frac{{\bar{m}}_k}{\sqrt{{\hat{n}}_k}+ϵ}\end{array}$
优点

• Nadam对学习率有了更强的约束，同时对梯度的更新也有更直接的影响。一般而言，在想使用带动量的RMSprop，或者Adam的地方，大多可以使用Nadam取得更好的效果。

牛顿法

牛顿法用二阶的Hessian矩阵的逆矩阵求解替换梯度更新：
$$\Delta {\theta }_k=-H_k^{-1}\cdot g_k$$ $H$为参数的二阶导矩阵，称为Hessian矩阵。$\Delta {\theta }_k$为牛顿方向。

红色曲线：牛顿法迭代；绿色曲线：梯度下降法
优点

• 牛顿法用Hessian矩阵替代人工设置的学习率，在梯度下降的时候，收敛更快，迭代次数更少

缺点

• 每次迭代时间长。求逆矩阵的时间复杂度近似$O\left(n^3\right)$，计算代价太高，不适合大数据
• 牛顿法是局部收敛的，当初始点选择不当时，往往导致不收敛
• Hessian矩阵必须正定。当二阶Hessian矩阵非正定时，不能保证产生方向是下降方向

拟牛顿法

由于牛顿法需要计算二阶Hessian矩阵的逆矩阵，拟牛顿法将Hessian矩阵用一个一阶矩阵$G_k=G(x^{(k)})$来近似代替$H_k^{-1}=H^{-1}(x^{(k)})$。
根据牛顿法中$H_k$满足的条件：$$H_{k+1}^{-1}\cdot \left(\nabla f\left(x_{k+1}\right)-\nabla f\left(x_k\right)\right)=x_{k+1}-x_k$$该式即为“拟牛顿条件”。记$$\begin{array}{l}{y}_k=g_{k+1}-g_k=\nabla f\left(x_{k+1}\right)-\nabla f\left(x_k\right)\\ {\delta }_k=x_{k+1}-x_k\end{array}$$且$H_k$为正定以保证牛顿法沿下降方向搜索，因此$G_k$需满足

1. 替代矩阵$G_k$正定，只有正定才能保证牛顿法的搜索方向是向下搜索的；
2. 替代矩阵$G_k$满足拟牛顿条件，$G_{k+1}\cdot y_k={\delta }_k$

每次迭代更新替代矩阵$G_k$，$G_{k+1}=G_k+\Delta G_k$。

DFP

用矩阵$D_k$替代$H_k^{-1}$，则有$$\begin{array}{l}{\delta }_k=D_{k+1}\cdot y_k\\ D_{k+1}=D_k+\Delta D_k\end{array}$$设 $\Delta D_k=\alpha u{u}^T+\beta v{v}^T$，则$$D_{k+1}\cdot y_k=D_k\cdot y_k+u(\alpha u^T{y}_k)+v(\beta v^T{y}_k)$$则$$D_{k+1}\cdot y_k-D_k\cdot y_k=u(\alpha u^T{y}_k)+v(\beta v^T{y}_k)$$又$$D_{k+1}\cdot y_k-D_k\cdot y_k={\delta }_k-D_k\cdot y_k$$则令 $u={\delta }_k$，$v=D_k\cdot y_k$，$\alpha u^T{y}_k=1$，$\beta v^T{y}_k=-1$ 可满足上式。则有$$\begin{array}{c}{\alpha }_k=\frac{1}{{\delta }_k^T\cdot y_k}\\ {\beta }_t=\frac{1}{y_k^T{D}_k{y}_k}\end{array}$$$$\Delta D_k=\frac{{\delta }_k{\delta }_k^T}{{\delta }_k^T{y}_k}-\frac{D_k{y}_k{y}_k^T{D}_k^T}{y_k^T{D}_k{y}_k}$$优点

• 时间复杂度为$O\left(n^2\right)$，比起普通牛顿迭代矩阵求逆，时间复杂度大大降低

BFGS

与DFP相反，BFGS将$H_k$用替代矩阵$B_k$表示，即$$\begin{array}{l}{y}_k=B_{k+1}{\delta }_k\\ B_{k+1}=B_k+\Delta B_k\end{array}$$$$\Delta B_k=\frac{y_k{y}_k^T}{y_k^T{\delta }_k}-\frac{B_k{\delta }_k{\delta }_k^T{B}_k^T}{{\delta }_k^T{B}_k{\delta }_k}$$$${\delta }_k=B_{k+1}^{-1}\cdot y_k$$在迭代过程中，引入两次 Sherman-Morrison 公式替代传统通过求解$B_{k+1}^{-1}$的方式。
Sherman-Morrison 公式为设$A\in {\mathbb{R}}^n$为非奇导方阵，$\mathbf{u},\mathbf{v}\in {\mathbb{R}}^n$，若$1+{\mathbf{v}}^T{A}^{-1}\mathbf{u}\ne 0$，则有
$${\left(A+{\mathbf{u}\mathbf{v}}^T\right)}^{-1}=A^{-1}-\frac{A^{-1}{\mathbf{u}\mathbf{v}}^T{A}^{-1}}{1+{\mathbf{v}}^T{A}^{-1}\mathbf{u}}$$则$$B_{k+1}^{-1}=\left(I-\frac{{\delta }_k{\mathbf{y}}_k^T}{{\mathbf{y}}_k^T{\delta }_k}\right)B_k^{-1}\left(I-\frac{{\mathbf{y}}_k{\delta }_k^T}{{\mathbf{y}}_k^T{\delta }_k}\right)+\frac{{\delta }_k{\delta }_k^T}{{\mathbf{y}}_k^T{\delta }_k}$$优点

• 不需求解线性方程组，矩阵-向量运算即可完成。初始矩阵一般设为单位矩阵。

缺点

• 当优化问题规模很大时，矩阵的存储和计算将变得不可行

L-BFGS

L-BFGS为限制内存BFGS算法(Limited memory BFGS)，基本思想是只保存最近的m次迭代信息，从而大大减少数据的存储空间。

优化方法选择经验

• 对于稀疏数据，尽量使用学习率可自适应的优化方法，不用手动调节，而且最好采用默认值。
• SGD通常训练时间更长，但在好的初始化和学习率调度方案的情况下，结果更可靠。
• 如果在意更快的收敛，并且需要训练较深较复杂的网络时，推荐使用学习率自适应的优化方法。
• Adadelta，RMSprop，Adam比较相近，在相似的情况下表现差不多。
• 在想使用带动量的RMSprop，或者Adam的地方，大多可以使用Nadam取得更好的效果。

参考文献

1. 深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
2. 优化算法Optimizer比较和总结
3. 优化方法总结：SGD，Momentum，AdaGrad，RMSProp，Adam
4. 自适应学习率调整：AdaDelta
5. AdaDelta算法
6. 深度学习笔记：优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)