深度学习中常用的优化算法(SGD, Nesterov,Adagrad,RMSProp,Adam)总结

深度学习中常用的优化算法(SGD, Nesterov,Adagrad,RMSProp,Adam)总结

1. 引言

在深度学习中我们定义了损失函数以后，会采取各种各样的方法来降低损失函数的数值，从而使模型参数不断的逼近于真实数据的表达。不过损失函数的数值只是我们用来优化模型中参数的一个参考量，我们是通过优化损失函数来间接地优化模型参数，并提高模型的度量指标。而优化算法的作用就是加快模型的收敛，取得最优值。

优化算法可以分为两大类，一类是基于 Momentum 的优化算法， 另一类是自适应的优化算法。

基于 Momentum 的优化算法

• SGD
• SGD + Mementum
• Nesterov

自适应的优化算法

• Adagrad
• RMSProp
• Adam

2. Momentum Based

2.1 SGD

SGD (stochastic gradient descent) 随机梯度下降。随机梯度下降系列可以分为

• SGD
• full-batch SGD
• mini-batch SGD
• mini-batch SGD + Momentum

值得注意的是，通常我们在说随机梯度下降算法的时候， 实际上都是说的 mini-batch SGD + Momentum， 因为它运用的最多。

SGD 是每次随机选择一个数据，喂给模型，然后更新参数。显然这种方式的缺点是由于每次喂入的数据量太少，模型学不到什么东西。

显然 full-batch SGD 是另一个极端， 上面的 SGD 是一条数据一条数据的喂，而 full-batch SGD 则是每一次迭代都将所有数据都喂进去，显然这将是非常大的计算量。所以现实中常常采用的是 mini-batch SGD， 其从训练集中少量采样一些数据拿来计算。这里有一个问题是为什么可以用 mini-batch 来替代 full-batch？

• 第一，n个样本的均值的标准差是 $\frac{\sigma }{\sqrt{n}}$ ，其中 $\sigma$ 是样本值真实的标准差。分母 $\sqrt{n}$ 说明样本数量的贡献是低于线性的，可以算一下，我们用100个样本和用10000个样本来计算均值标准差，多用了100倍的数据，却只降低了10倍的标准差。如果能够迅速求出估计值，而不是缓慢计算准确值，会加快算法的收敛速度。
• 第二，训练集中经常会存在冗余的情况，完全有可能出现相同数据，如果重复了 $m$ 次，那么用小批量算法就可以少花 $m$ 倍的时间。

mini-batch SGD 的过程大致如下：

mini-batch SGD
输入：学习率 ${ϵ}_k$ ，初始参数 $\theta$
while 未满足停止条件 do
从训练集中采集包含 $m$ 个样本 { x ( 1 ) ， x ( 2 ) ， . . . ， x ( m ) } \{x^{(1)}，x^{(2)}，...，x^{(m)}\} { x(1)，x(2)，...，x(m)} 的小批量，其中数据 $x^i$ 和对应目标 $y^{(i)}$
计算梯度估计： ${\nabla }_{{\theta }_{k-1}}J({\theta }_{k-1})\leftarrow \frac{1}{m}{\nabla }_{{\theta }_{k-1}}L(f(x^{(i)},{\theta }_{k-1}),y^{(i)})$
更新参数：${\theta }_k\leftarrow {\theta }_{k-1}-{ϵ}_k{\nabla }_{{\theta }_{k-1}}J({\theta }_{k-1})$
end while

上面的学习率 $ϵ$ 是需要学习的超参数。因为仅仅用一个 case 或者一个小的 batch 的 case 来计算梯度，所以仅仅是对训练数据集梯度的一个估计。

总的来说上面的三种 SGD 算法所面临的问题是

• Zigzag
• 容易陷入 local optimize

针对上面问题，SGD + Momentum 被提了出来，SGD + Momentum 主要有了以下提升:

• 缓解 Zigzag
• 比 SGD， 对于局部最优有改善

首先对比下单纯的 SGD 和 SGD + Momentum 的更新方式的区别。

名字	更新方式
单纯 SGD：	$\theta \leftarrow \theta -ϵ{\nabla }_{\theta }J(\theta )$
SGD + Momentum：	$v_t\leftarrow \alpha v_{t-1}-ϵ{\nabla }_{\theta }J(\theta )$; $\theta \leftarrow \theta +v_t$

上面的 $v$ 我们称为速度，$\alpha$ 是动量参数， ${\nabla }_{\theta }J(\theta )$ 是当前轮次计算得到的梯度。

从公式可以看出， $v$ 会记录上一次的梯度信息，通过动量参数 $\alpha$ 来控制上一次的更新量对本次更新量的影响，注意它是一个非负项，所以它起到了“惯性”的作用。

• 下降初期时，引入上一次参数更新，使得下降方向趋近于上次的方向，乘上较大的 $\alpha$ 能够进行很好的加速
• 下降中后期时，在局部最小值来回震荡的时候，也就是 ${\nabla }_{\theta }J(\theta )\to 0$，$\alpha$ 使得更新幅度增大，跳出局部最优
• 在梯度改变方向的时候，momentum 能够减少更新，从而缓解 Zigzag 问题。

SGD + Momentum
输入：学习率 ${ϵ}_k$ ，初始参数 $\theta$，动量参数 $\alpha$ ，初始速度 $v$
while 未满足停止条件 do
从训练集中采集包含 $m$ 个样本 { x ( 1 ) ， x ( 2 ) ， . . . ， x ( m ) } \{x^{(1)}，x^{(2)}，...，x^{(m)}\} { x(1)，x(2)，...，x(m)} 的小批量，其中数据 $x^i$ 和对应目标 $y^{(i)}$
计算梯度估计： ${\nabla }_{{\theta }_{k-1}}J({\theta }_{k-1})\leftarrow \frac{1}{m}{\nabla }_{{\theta }_{k-1}}L(f(x^{(i)},{\theta }_{k-1}),y^{(i)})$
更新速度：$v_k\leftarrow \alpha v_{k-1}-{ϵ}_k{\nabla }_{{\theta }_{k-1}}J({\theta }_{k-1})$
更新参数：${\theta }_k\leftarrow {\theta }_{k-1}+v_k$
end while

其中：

$$v_k$$