DL基本知识（三）各类深度学习优化器简介

sgd

假设有一个训练任务，其中样本构成为 { ( x ( i ) , y ( i ) ) } ∣ i = 1 m \{(x^{(i)}, y^{(i)})\}|^m_{i=1} {(x(i),y(i))}∣i=1m​，其损失函数为
$$L(\theta )=-log\prod _{i=1}^{m}p\left(y^{(i)}|x^{(i)};\theta \right)=-\sum _{i=1}^{m}logp\left(y^{(i)}|x^{(i)};\theta \right)$$

对模型参数$\theta$来说，其梯度为
$$g_{orig}=\frac{\partial L(\theta )}{\partial \theta }=-\frac{\partial {\sum }_{i=1}^{m}logp\left(y^{(i)}|x^{(i)};\theta \right)}{\partial \theta }=-\sum _{i=1}^m\frac{\partial logp\left(y^{(i)}|x^{(i)};\theta \right)}{\partial \theta }$$

参数更新公式为：
$$\theta :=\theta -ϵ\frac{\partial L(\theta )}{\partial \theta }=\theta -ϵg_{orig}$$

其中$ϵ$是学习率。可以看出，每更新一次参数需要计算所有的样本，因而很耗费时间，而batch-sgd的思路为随机找batch_size个样本，仅利用这些样本就完成$\theta$的一次参数更新，公式如下：
$$g=-\sum _{i=1}^{batch\_size}\frac{\partial logp\left(y^{(i)}|x^{(i)};\theta \right)}{\partial \theta }$$

参数更新公式为：
$$\theta :=\theta -ϵg$$

注意BGD、SGD和MBGD的区别：

BGD：batch gradient descent，全量样本进行梯度更新。
SGD：stochastic gradient descent，随机找一个样本进行梯度更新。

momentum

根据<batch-sgd>中的讲述，参数每次更新$-ϵg$，这个恒定值会带来很多麻烦，例如：

1. 如果梯度下降过程中曲面太平坦，如果还按照上述步伐走，梯度下降地会比较缓慢，例如下图所示：

2. 如果梯度下降过程中太陡峭，下降时会一直震荡，例如下图所示：

上述两种情况都没办法使损失稳定下降。针对上述缺点，momentum引入了$v$，即梯度的改变量，参数更新为如下公式，其中$\alpha$为衰减力度，代表的含义是原先的梯度对当前参数更新的影响程度：
$$\begin{array}{c}v=\alpha v-\epsilon g\\ \theta =\theta +v\end{array}$$

多次迭代公式如下，其中$v_1=-\epsilon g_1$

$$\begin{array}{c}1st:\theta =\theta +v_1=\theta -\epsilon g_1\\ 2nd:\theta =\theta +v_2=\theta +\alpha v_1-\epsilon g_2=\theta -\epsilon (\alpha g_1+g_2)\\ ...\end{array}$$

通过第二个公式可以得到：如果本次和上次梯度符号相同，损失则会加速下降（幅度变大），从而解决原先下降太慢的问题；如果符号相反，则这次更新和上次相互抑制，减缓震荡。

adagrad

momentum一个缺点在于对于$\theta$的每一维数据，其学习率都是相同的，adagrad则对低频参数进行较大更新，高频参数进行较小更新，公式如下：
$${\theta }_{t+1,i}={\theta }_{t,i}-\frac{ϵ}{\sqrt{G_{t,i}+\sigma }}{g}_{t,i}$$

其中${\theta }_{t,i}$代表第t轮更新$\theta$的第i维数据，$G_{t,i}={\sum }_{k=1}^t{g}_{t,i}^2$，$\sigma$为平滑项，可以看出对于低频参数，其$G_{t,i}$较小，因而参数更新的幅度会大一些，反之则会小一些。

adadelta

adagrad的缺点在于在梯度更新的中后期，所有参数的$G_{t,i}$都会很大，从而阻挠梯度更新的进行，因而adadelta将梯度$G_{t,i}$改为$E[g^2{]}_t$，具体公式如下所示，从而通过$\gamma$控制梯度更新的过程。
$$E[g^2{]}_t=\gamma E[g^2{]}_t+(1-\gamma )g_t^2$$

RMSprop

adadelta的特殊情况，即$\gamma =0.9$时adadelta的梯度更新公式。

adam

对$g_t^2$和$g_t$同时采用类似momentum的操作，公式如下所示，其中$m_t$代表的是$g_t$的momentum，$v_t$代表的是$g_t^2$的momentum。
$$\begin{array}{c}{m}_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t\\ v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)g_t^2\end{array}$$

而为了防止每轮参数更新后$m_t$和$v_t$变得趋近于0，则认为对这两个参数进行放大，公式如下所示：
$$\begin{array}{c}\widehat{m_t}=\frac{m_t}{1-{\beta }_1^t}\\ \widehat{v_t}=\frac{v_t}{1-{\beta }_2^t}\end{array}$$

参数更新公式如下所示，由于添加了两层momentum的保险，adam在实际使用过程中比其他的优化器效果都好，亲试有效！
$${\theta }_{t+1}={\theta }_t-\frac{ϵ}{\sqrt{\widehat{v_t}+\sigma }}\widehat{m_t}$$

实践过程中，也可以为学习率添加decay_rate，即随着训练步数的变大学习率会变小，使参数学习过程变得更加稳定，不会在训练后期出现震荡的情况。