神经网络的优化算法

神经网络的优化算法

1. SGD 随机梯度下降

$$w_t\leftarrow w_{t-1}-\eta {\nabla }_{w}L(x)$$

​ 训练速度较快，但是不是全局最优解，容易困在鞍点（saddle point）和极小值点。如果函数的形状非均向，搜索路径效率就会非常低（根本原因：梯度方向没有指向最小值方向）

2. Momentum 动量

​ 动量的引入就是为了加快学习过程，特别是对于高曲率、小但一致的梯度，或者噪声比较大的梯度能够很好的加快学习过程。动量的主要思想是积累了之前梯度指数级衰减的移动平均（前面的指数加权平均）。
$$\begin{gathered} v_t\leftarrow \alpha v_{t-1}-\eta {\nabla }_{w}L(x) \\ {w}_t\leftarrow w_{t-1}+v_t \end{gathered}$$
​ 其中$v_{t-1}$为之前所有步骤所累积的动量

3. Nesterov Momentum

Nesterov Momentum是对Momentum的改进，可以理解为Nesterov Momentum在标准动量方法中添加了一个校正因子。
$$\begin{gathered} \hat{w}\leftarrow w_{t-1}+\alpha v_{t-1} \\ {v}_t\leftarrow \alpha v_{t-1}-\eta {\nabla }_{w}L(x;\hat{w}) \\ {w}_t\leftarrow w_{t-1}+v_t \end{gathered}$$

4. AdaGrad (Adaptive Gradient)

​ 保持一个训练过程中的每一步的梯度的平方和的持续估计，在更新时将梯度除以之前梯度的平方和。
$$\begin{gathered} g_t\leftarrow g_{t-1}+{\nabla }_{w}L(x)\odot {\nabla }_{w}L(x) \\ {w}_t\leftarrow w_{t-1}-\eta \frac{1}{\sqrt{g_t+ϵ}}\odot {\nabla }_{w}L(x) \end{gathered}$$
​

​ 对于梯度较大的参数，学习率会较小，而对于梯度较小的参数，学习率较大。这使得变动较大的参数的学习率减小，增加小梯度维度上的学习速度，不至于在平缓的地方徘徊不前。

​ 但是后期的梯度平方和的估计会很大，导致学习率过小，可能很难找到一个可用的解。

5. RMSProp

​ RMSProp和AdaDelta一样，使用指数加权平均（指数衰减平均），只保留过去给定窗口大小的梯度信息，s使其能够在找到碗装结构后快速收敛。
$$\begin{gathered} g_t\leftarrow \gamma g_{t-1}+(1-\gamma ){\nabla }_{w}L(x)\odot {\nabla }_{w}L(x) \\ {w}_t\leftarrow w_{t-1}-\eta \frac{1}{\sqrt{g_t+ϵ}}\odot {\nabla }_{w}L(x) \end{gathered}$$

6. Adam

​ Adam实际上是把Momentum和RMSProp结合起来的一种算法。
$$v_t\leftarrow {\beta }_1{t}_{t-1}+(1-{\beta }_1){\nabla }_{w}L(x)$$

$$g_t\leftarrow {\beta }_2{g}_{t-1}+(1-{\beta }_2){\nabla }_{w}L(x)\odot {\nabla }_{w}L(x)$$

$$\begin{gathered} {\hat{v}}_t\leftarrow \frac{v_t}{1-{\beta }_1^t},{\hat{g}}_t\leftarrow \frac{g_t}{1-{\beta }_2^t} \\ {w}_t\leftarrow w_{t-1}-\eta \frac{{\hat{v}}_t}{\sqrt{{\hat{g}}_t+ϵ}} \end{gathered}$$

​ 其中${\hat{v}}_t,{\hat{g}}_t$为$v_t,g_t$的无偏修正，为了修正t较小时指数加权平均的值。