【深度学习理论】炼丹术——聊聊Optimization

1. 前言

机器学习的本质是在一个function set中选择最优的function：$f^{\ast }$（又被称为model）。其中，挑选最优function的过程被转换为求损失函数的最小值问题，损失函数可能的图像如下图所示（在实际问题中损失函数的图像会复杂的多的多的多的多）。

寻找最优function的过程如下图所示，其中黑线表示可能存在的寻找路径。

2. 问题

假设当前问题的损失函数（loss function）图像如下图所示，因loss function是通过梯度进行参数更新，故当损失函数在更新过程中遇到梯度为0的点的时候会停止更新。

在一个函数中，有三类点的梯度可能为0：

1. Global Minima：全局最小值点；
2. Local Minima：局部最小值点；
3. Saddle Point：鞍点；

其中Global Minima是我们要找的最优解，Local Minima是次优解，Saddle Point是错误解。

备注：在实际应用中遇到Saddle Point的概率要远远大于遇到Local Minima的概率；

3. Optimizer

3.1 SGD

Stochastic Gradient Descent，又被称为随机梯度下降，运算过程如下图所示：

假设当前点为${\theta }^0$，其中$\eta$为学习率，则参数更新过程如下：

1. 计算${\theta }^0$处的梯度$\nabla L({\theta }^0)$；
2. 沿${\theta }^0$梯度相反的方向更新参数到${\theta }^1$，${\theta }^1={\theta }^0-\eta \nabla L({\theta }^0)$；
3. 重复步骤1和步骤2，直到$\nabla L({\theta }^t)\approx 0$；

SGD的缺点：

1. 会“卡”在local minima和saddle point；
2. 在实践中当梯度很小的时候（如：0.0000001）时会停止更新参数（如下图中的点A），如果此时停止更新参数，则模型的效果会很差（欠拟合状态）。此外，在A点附近（梯度比较平缓的区域）参数更新速度很慢；
3. 不稳定，容易受到噪音点的影响；
   

3.2 Momentum

又称为动量法，该算法是将物理学中的“动量”概念引入到算法中。常用的算法是：SGDM（Stochastic Gradient Descent with Momentum），其运算过程如下：

假设当前点为：${\theta }^0$，动量$v^0=0$，则参数更新过程如下；

1. 计算${\theta }^0$当前的梯度为$\nabla L({\theta }^0)$；
2. 动量$v^1=\lambda v^0-\eta \nabla L({\theta }^0)$，$\lambda$是动量超参数0 ≤ $\lambda$ < 1，如果$\lambda =0$则算法为SGD；
3. 更新参数到${\theta }^1$，${\theta }^1={\theta }^0+v^1$；
4. 重复步骤1~3；

备注：$v^i$其实是所有历史梯度的加权和：

• $v^0=0$；
• $v^1=-\eta \nabla L({\theta }^0)$；
• $v^2=-\lambda \eta \nabla L({\theta }^0)-\eta \nabla L({\theta }^1)$；

SGDM的效果图如下所示：

SGDM相较于SGD的优点：

1. 可以解决saddle point问题；
2. 有一定几率可以跨过local minima；
3. 在梯度平缓的区域更新速度相较于SGD速度更快，可以帮助参数快速朝着极小值方向探索；
4. 在一定程度上使参数的更新方向更加一致，避免了发散；

3.3 AdaGrad

在以上算法中，所有的参数更新都使用相同的学习率。但是不同的参数在各个维度上的“平缓”程度是有差异的。如下图所示，梯度在$w_1$方向上比较平缓（变化比较慢），在$w_2$方向上比较陡峭（变化比较快）。如果使用相同的学习率：

1. 当学习率比较大时，因$w_2$方向上的变化比较大，故很容易跳过该方向上的最优解；
2. 当学习率比较小时，因$w_1$方向上的变化比较平缓，故该方向上的更新速度比较慢，需要比较多的次数才能找到最优解；
   

AdaGrad算法是根据自变量在每个维度的梯度值的大小来自动调整各个维度上的学习率，从而避免使用同一学习率所带来的问题。计算公式如下：
$${\theta }_t={\theta }_{t-1}-\frac{\eta }{\sqrt{{\sum }_{i=0}^{i=t-1}(g_i{)}^2+ϵ}}{g}_t$$
其中：

• $\eta$：学习率；
• $g_i$：i 时刻的梯度；
• ${\theta }_i$：i 时刻的参数值；
• $ϵ$：一个很小的值，防止分母为0；
• $\frac{\eta }{\sqrt{{\sum }_{i=0}^{i=t-1}(g_i{)}^2+ϵ}}$是一个只会递增的衰减系数；

由上个式子可知，历史所有梯度的元素的算术平方根作为学习率的分母，则：

1. 如果参数在某个方向上的偏导数一直很大，则学习率会下降的快；
2. 如果参数在某个方向上的偏导数一直很小，则学习率会下降的慢；

这就达到了各个维度方向上自动调整学习率的目的。

Adagrad的问题：

1. 学习率一直下降（或者不变，因为衰减系数一直递增），如果在早期学习率比较大的情况下未找到最优解或者到达最优解附近的区域，则后续很难找到最优解；
2. 无法适应学习率需要时大时小（因为学习率一直在下降，不会动态调整）的情况；

3.4 RMSProp

Adagrad算法的问题在于：衰减系数是历史梯度平方和的暴力累加，导致越训练模型的更新速度越慢。而RMSProp算法和Adagrad的不同就在于衰减系数的计算方式，RMSProp使用指数加权平均的方式计算衰减系数。对于参数$w^j$，其更新过程的数学公式如下：

1. $v_t=\rho v_{t-1}+(1-\rho )\ast g_t^2$；
2. $\Delta w_t=-\frac{\eta }{\sqrt{v_t+ϵ}}\ast g_t$；
3. $w_{t+1}=w_t+\Delta w_t$；

其中：

• $\eta$：初始学习率；
• $v_t$：t时刻梯度的指数加权平均值；
• $g_t$：t时刻$w^j$的梯度；

使用指数加权平均的方式计算衰减系数的精髓在于：

1. 越靠近当前时刻的历史梯度对当前时刻参数更新的影响越大；
2. 越远离当前时刻的历史梯度对当前时刻参数更新的影响越小；

RMSProp的优点：可以根据历史梯度动态的为每个参数设置不同的学习率；

3.5 Adam

Adam全称Adaptive Moment Optimization，是将SGDM和RMSPROP两种算法结合起来。其对于任意一个参数$w^j$，其更新过程的数学公式如下：

1. $v_t={\beta }_1\ast v_{t-1}-(1-{\beta }_1)\ast g_t$；
2. $s_t={\beta }_2\ast s_{t-1}-(1-{\beta }_2)\ast g_t^2$；
3. $\Delta w_t=-\eta \frac{v_t}{\sqrt{s_t+ϵ}}\ast g_t$；
4. $w_{t+1}=w_t+\Delta w_t$；

其中：

• $\eta$：初始学习率 ；
• $v_t$：t时刻的动量；
• $s_t$：t时刻的指数加权平均衰减系数；
• $g_t$：t时刻$w^j$的梯度；
• ${\beta }_1$，${\beta }_2$：超参数；

Adam的优点：

1. 有SGDM算法的优点；
2. 有RMSProp算法的优点；

4. 总结

目前在实践中常用的是Adam和SGDM，有实践表明：Adam算法收敛速度更快、但是有较大的泛化误差且不稳定；SGDM算法有比较小的泛化误差、更稳定，但是需要较长的训练时间。此外，SGDM和Adam算法有不同的适用领域，具体如下图所示：

最后，下面是其他的一些建议，haha…