深度学习系列二—优化算法

在深度学习领域，优化算法的选择是重中之重。梯度下降算法是目前神经网络中使用最广泛的优化算法之一。为了弥补朴素梯度下降GD的缺陷，又出现了SGD、SGD with Momentum、Adam、NAdam等。
深度学习优化算法经历了SGD->SGDM->NAG->AdaGrad->AdaDelta->Adam->Nadam 这样的发展历程。

1、梯度下降

见机器学习笔记一——常用优化算法—GD、BGD、SCD、MBGD

2、梯度下降优化算法-着手点

从上面的三种梯度下降法，我们可知道影响梯度下降算法的主要因素有

• 批量大小K
• 学习率$\alpha$
• 梯度估计
  因此，我们可以从三这方面下手，建立梯度下降优化算法
  以下为深度学习常用优化算法

2.1 批量大小的选择

\quad \quad 在小批量梯度下降法中，批量大小对网络优化的影响也非常大。一般而言，批量大小不影响随机梯度的期望，但是会影响随机梯度的方差。

• 批量大小越大，随机梯度的方差越小，引入的噪声也越小，训练也越稳定，因此可以设置较大的学习率。
• 而批量大小较小时，需要设置较小的学习率，否则模型不会收敛。学习率通常要随着批量大小的增大而相应的增大。
• 一个简单有效的方法是线性缩放规则：当批量大小增加m倍时，学习率也增加m倍。线性缩放规则往往在批量大小比较小时适用，当批量大小比较大时，线性缩放会使得训练不稳定。
  \quad \quad 如下图所示，给出了从回合（Epoch) 和 迭代（Iteration的角度，批量大小对损失下降的影响．每一次小批量更新为一次迭代，所有训练集的样本更新一遍为一个回合，两者的关系为

\quad \quad 分析上图可以看出，批量大小越大，下降效果越明显，并且下降曲线越平滑．但从图7.3b可以看出，如果按整个数据集上的回合（Epoch）数来看，则是批量样本数越小，适当小的批量大小会导致更快的收敛．
\quad \quad 此外，批量大小和模型的泛化能力也有一定的关系:

• 批量越大，越有可能收敛到尖锐最小值；
• 批量越小，越有可能收敛到平坦最小值。

记训练数据集的大小为m，两个极端情况
1）当min-batch的大小为m时，其实也就是batch梯度下降法。
2）当min-batch的大小为1时，其实也就是随机梯度下降法。

2.2 学习率调整

\quad \quad 学习率是神经网络优化时的重要超参数．如上图所示，学习率正好时，参数 x会沿着梯度方向不断更新，直至全局最优；学习率过大可能会造成 x 迈过（overshoot）最优解，甚至不断发散而无法收敛。从经验上来看，学习率在训练开始阶段要保持相对大些，从而保证收敛速度，在训练后期模型收敛到最优点附近时，学习率要设小一些，从而避免来回震荡。所以，实践中我们经常随着训练的不断进行而逐渐减小学习率。
\quad \quad 常用的学习率调整方法包括学习率衰减、学习率预热、周期性学习率调整以及一些自适应调整学习率的方法，比如 AdaGrad、RMSprop、AdaDelta 等．自适应学习率方法可以针对每个参数设置不同的学习率．

2.2.1 学习率衰减

\quad \quad 学习率衰减（Learning Rate Decay）,也称为学习率退火（Learning Rate Annealing）。不失一般性，这里的衰减方式设置为按迭代次数进行衰减．

\quad \quad 假设初始化学习率为${\alpha }_0$，在第𝑡 次迭代时的学习率${\alpha }_t$．常见的衰减方法有以下几种：

分段常数衰减（Piecewise Constant Decay）：

\quad \quad 每经过$T_1,T_2,...,T_m$ 次迭代将学习率衰减为原来的${\beta }_1,{\beta }_2,...,{\beta }_m$倍，其中 $T_m$ 和 ${\beta }_m$ < 1 为根据经验设置的超参数。分段常数衰减也称为阶梯衰减。

逆时衰减（Inverse Time Decay）：

$${\alpha }_t={\alpha }_0\frac{1}{1+\beta \ast t}$$
\quad \quad 其中$\beta$为衰减率
指数衰减（Exponential Decay）：

$${\alpha }_t={\alpha }_0{\beta }^t$$

\quad \quad 其中$\beta <1$为衰减率

自然指数衰减（Natural Exponential Decay）：

$${\alpha }_t={\alpha }_{0}exp(-\beta \ast t)$$
\quad \quad 其中$\beta$为衰减率

余弦衰减（Cosine Decay）：

$${\alpha }_t=\frac{1}{2}{\alpha }_0(1+cos(\frac{t\pi }{T}))$$
\quad \quad 其中T为总的迭代次数。

2.2.2 学习率预热

\quad \quad 在小批量梯度下降法中，当批量大小的设置比较大时，通常需要比较大的学习率．但在刚开始训练时，由于参数是随机初始化的，梯度往往也比较大，再加上比较大的初始学习率，会使得训练不稳定．

\quad \quad 为了提高训练稳定性，我们可以在最初几轮迭代时，采用比较小的学习率，等梯度下降到一定程度后再恢复到初始的学习率，这种方法称为学习率预热（Learning Rate Warmup）．

\quad \quad 一个常用的学习率预热方法是逐渐预热（Gradual Warmup）：
\quad \quad 假设预热的迭代次数为$T^{\prime }$,初始学习率为${\alpha }_0$，在预热过程中，每次更新的学习率为
$${\alpha }_t^{{}^{\prime }}=\frac{t}{T^{\prime }}{\alpha }_0,1\le t\le T^{\prime }$$
\quad \quad 当预热过程结束，再选择一种学习率衰减方法来逐渐降低学习率。

2.2.3 周期性学习率调整

\quad \quad 为了使得梯度下降法能够逃离鞍点或尖锐最小值，一种经验性的方式是在训练过程中周期性地增大学习率．当参数处于尖锐最小值附近时，增大学习率有助于逃离尖锐最小值；当参数处于平坦最小值附近时，增大学习率依然有可能在该平坦最小值的吸引域（Basin of Attraction）内．因此，周期性地增大学习率虽然可能短期内损害优化过程，使得网络收敛的稳定性变差，但从长期来看有助于找到更好的局部最优解．

\quad \quad 两种常用的周期性调整学习率的方法：循环学习率和带热重启的随机梯度下降．

循环学习率：

\quad \quad 一种简单的方法是使用循环学习率（Cyclic Learning Rate），即让学习率在一个区间内周期性地增大和缩小．通常可以使用线性缩放来调整学习率，称为三角循环学习率（Triangular Cyclic Learning Rate）．
\quad \quad 假设每个循环周期的长度相等都为 2Δ𝑇，其中前 Δ𝑇 步为学习率线性增大阶段，后Δ𝑇 步为学习率线性缩小阶段．在第𝑡 次迭代时，其所在的循环周期数𝑚为

带热重启的随机梯度下降：

\quad \quad 带热重启的随机梯度下降是用热重启方式来替代学习率衰减的方法．学习率每间隔一定周期后重新初始化为某个预先设定值，然后逐渐衰减．每次重启后模型参数不是从头开始优化，而是从重启前的参数基础上继续优化．

2.3 梯度估计修正

\quad \quad 损失函数有关自变量的梯度代表了损失函数在自变量当前位置下降最快的方向。因此，梯度下降也叫作最陡下降。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量，然而，如果自变量的迭代方向仅仅取决于自变量当前位置，可能会带来一些问题。

\quad \quad 例如：损失函数为
$$f(x)=0.1x_1^2+2x_2^2$$
该函数在$x_1,x_2$的斜率相差较大，如果给定学习率，梯度下降迭代自变量时，会使自变量在$x_2$比在$x_1$的移动幅度更大，可能会越过最优解；如果降低学习率，会造成在$x_1$方向上朝最优解移动缓慢，收敛速度变慢。下面实现基于这个目标函数的梯度下降，并演示使用学习率为 0.4 时自变量的迭代轨迹。

%matplotlib inline
import numpy as np
eta = 0.4#学习率

def f_2d(x1, x2):# 目标函数
    return 0.1 * x1 ** 2 + 2 * x2 ** 2

def gd_2d(x1, x2):
    return (x1 - eta * 0.2 * x1, x2 - eta * 4 * x2)
def train_2d(trainer):  
    x1, x2 = -5, -2 # 初始化自变量x1,x2
    results = [(x1, x2)]
    for i in range(20):
        x1,x2= trainer(x1,x2)
        results.append((x1, x2))
    print('epoch %d, x1 %f, x2 %f' % (i + 1, x1, x2))
    return results

def show_trace_2d(f, results): # 画轨迹 
    plt.plot(*zip(*results), '-o', color='#ff7f0e')
    x1, x2 = np.meshgrid(np.arange(-5.5, 1.0, 0.1), np.arange(-3.0, 1.0, 0.1))
    plt.contour(x1, x2, f(x1, x2), colors='#1f77b4')
    plt.xlabel('x1')
    plt.ylabel('x2')

show_trace_2d(f_2d, train_2d(gd_2d))

可以看到，同一位置上，目标函数在竖直方向（$x_2$轴方向）比在水平方向（$x_1$轴方向）的斜率的绝对值更大。因此，给定学习率，梯度下降迭代自变量时会使自变量在竖直方向比在水平方向移动幅度更大。那么，我们需要一个较小的学习率从而避免自变量在竖直方向上越过目标函数最优解。然而，这会造成自变量在水平方向上朝最优解移动变慢。

下面我们试着将学习率调得稍大一点，此时自变量在竖直方向不断越过最优解并逐渐发散。

eta = 0.6
show_trace_2d(f_2d, train_2d(gd_2d))

\quad \quad 从上面两张图可以看出，仅仅根据当前位置的梯度更新自变量，还是存在一定的缺陷：随机梯度下降方法中每次迭代的梯
度估计和整个训练集上的最优梯度并不一致，具有一定的随机性． （增加批量大小也是缓解随机性的一种方式．），为了解决上述梯度下降的问题，提出了梯度估计修正的想法：使用最近一段时间内的平均梯度来代替当前时刻的随机梯度来作为参数更新的方向，从而提高优化速度。在此基础上，运用最多的是动量法和Nesterov加速梯度下降法。

3、各种优化算法

为了更有效的训练神经网络，在标准的小批量梯度下降法的基础上，也经常使用一些改进方法以加快优化速度，比如如何选择批量大小、如何调整学习率以及如何修正梯度估计。当然，这些改进方法同样适用于批量或随机梯度下降法上。

优化算法的主要区别在于怎么调节学习率和动量 （本质上还是调节的梯度–>可正可负)

几个定义介绍如下：
$\theta$：待优化参数
$\Delta {\theta }_t$:每次迭代时参数更新的差值,定义如下：
$$\Delta {\theta }_t={\theta }_t-{\theta }_{t-1}$$
${\theta }_t={\theta }_{t-1}+\Delta {\theta }_t$:参数$\theta$的更新公式

---

基于梯度估计修正产生的梯度下降优化算法

3.1 动量法 (Momentum)

\quad \quad 动量法的提出是为了解决梯度下降的上述问题(梯度估计的随机性）。动量法 (Momentum),又称动量梯度下降法是用之前积累动量来替代真正的梯度。每次迭代的梯度可以看作加速度。

\quad \quad 动量法对每次迭代的步骤做如下修改：

\quad \quad 在第𝑡 次迭代时，计算负梯度的 “加权移动平均” 即速度变量作为参数的更新方向，
$$\Delta {\theta }_t=\beta \Delta {\theta }_{t-1}-\alpha g_t=-\alpha \sum _{\tau =1}^t{\beta }^{t-\tau }{g}_{\tau }$$

参数${\theta }_t$的更新公式为：
$${\theta }_t={\theta }_{t-1}+\Delta {\theta }_t$$

\quad \quad 其中$\beta$为动量因子($\beta$满足$0\le \beta <1)$，通常设为0.9; 当 $\beta =0$ 时，动量法等价于梯度下降。$\alpha$为学习率,$g_t$为当前时刻t的梯度（可以为三种梯度下降法的任意一种，深度学习一般使用小批量梯度下降法比较多，因此后续讨论将沿用“小批量随机梯度下降”一节中时间步$t$的小批量随机梯度${\mathbf{g}}_t$的定义）

• 每个参数的实际更新差值取决于最近一段时间内梯度的加权平均值．
• 当某个参数在最近一段时间内的梯度方向不一致时，其真实的参数更新幅度变小；
• 相反，当在最近一段时间内的梯度方向都一致时，其真实的参数更新幅度变大，起到加速作用．
• 一般而言，在迭代初期，梯度方向都比较一致，动量法会起到加速作用，可以更快地到达最优点．在迭代后期，梯度方向会不一致，在收敛值附近振荡，动量法会起到减速作用，增加稳定性．从某种角度来说，当前梯度叠加上部分的上次梯度，一定程度上可以近似看作二阶梯度．

3.1.1 动量法原理-指数加权移动平均

为了从数学上理解动量法，让我们先解释一下指数加权移动平均。另外，神经网络中的常用优化算法都会涉及到指数加权移动平均。
1、概述：

指数加权移动平均(Exponential Weighted Moving Average)，也叫指数加权平均，简称EWMA。

• 算术平均（权重相等）—>加权平均(权重不等)—>移动平均(大约是只取最近的N次数据进行计算)—> 批量归一化(BN)及各种优化算法的基础
• EWMA：是以指数式递减加权的移动平均，各数值的加权随时间而指数式递减，越近期的数据加权越重，影响力越大，但较旧的数据也给予一定的加权。

2、定义：

EWMA通过将历史的值和当前一实际值进行加权求和来得到当前值的估计，常用于减小序列数据的噪声，其公式如下：

给定超参数$0\le \beta <1$，当前时间$t$的变量$y_t$是上一时间$t-1$的变量$y_{t-1}$和当前时间另一实际变量$x_t$的线性组合：

$$y_t=\beta y_{t-1}+(1-\beta )x_t.$$

3、意义

我们可以对$y_t$展开：

$$\begin{array}{rl}{y}_t& =(1-\beta )x_t+\beta y_{t-1}\\ & =(1-\beta )x_t+(1-\beta )\cdot \beta x_{t-1}+{\beta }^2{y}_{t-2}\\ & =(1-\beta )x_t+(1-\beta )\cdot \beta x_{t-1}+(1-\beta )\cdot {\beta }^2{x}_{t-2}+{\beta }^3{y}_{t-3}\\ & \dots \end{array}$$

• 令$n=1/(1-\beta )$，那么 ${\left(1-1/n\right)}^n={\beta }^{1/(1-\beta )}$。因为

$$\underset{n\to \infty }{\lim }{\left(1-\frac{1}{n}\right)}^n=\exp (-1)\approx 0.3679,$$

• 故当$\beta \to 1$时，${\beta }^{1/(1-\beta )}=e^{-1}$，如$0.95^{20}\approx e^{-1}$。
• 如果把$e^{-1}$当作一个比较小的数，我们可以在近似中忽略所有含${\beta }^{1/(1-\beta )}$和比${\beta }^{1/(1-\beta )}$更高阶的系数的项。例如，当$\beta =0.95$时，$\frac{1}{1-\beta }=20$,${\beta }^{20+}$就很小，可以将大于等于${\beta }^{20}$阶数的项去掉，则

$$y_t\approx 0.05\sum _{i=0}^{19}0.95^i{x}_{t-i}.$$

• 因此，在实际中，我们常常将 $y_t$看作是对最近$1/(1-\beta )$个时间步的$x_t$值的加权平均。 即我们可以每次只考虑最近$N=\frac{1}{1-\beta }$天的数据来计算当前时刻的EWMA，这就是移动平均的来源。
• 例如，当$\beta =0.95$时，$y_t$可以被看作对最近20个时间步的$x_t$值的加权平均；当$\beta =0.9$时，$y_t$可以看作是对最近10个时间步的$x_t$值的加权平均。而且，离当前时间步$t$越近的$x_t$值获得的权重越大（越接近1）。

4、EWMA 的优点

• 它占用极少内存：计算指数加权平均数只占用单行数字的存储和内存，然后把最新数据代入公式，不断覆盖就可以了。

• 移动平均线能较好的反应时间序列的变化趋势，权重的大小不同起到的作用也是不同，时间比较久远的变量值的影响力相对较低，时间比较近的变量值的影响力相对较高。

---

下面是吴恩达课程对移动平均指数理解的一个例子：温度的例子来详细介绍一下。
以伦敦的气温为例：

当前温度的指数移动平均值：
$${\nu }_t=\beta {\nu }_{t-1}+(1-\beta ){\theta }_t$$

• ${\theta }_t$为当前t时刻的实际温度；系数$\beta$表示加权下降的快慢，值越小权重下降的越快；${\nu }_t$为t时刻EWMA的值。
• 当${\nu }_0=0$时，${\nu }_t=(1-\beta )({\theta }_t+\beta {\theta }_{t-1}+{\beta }^2{\theta }_{t-2}+...+{\beta }^{t-1}{\theta }_1)$，从公式中可以看出：每天温度（$\theta$）的权重系数以指数等比形式缩小，时间越靠近当前时刻的数据加权影响力越大。
• 在优化算法中，我们一般取$\beta \ge 0.9$,而$1+\beta +{\beta }^2+...+{\beta }^{t-1}=\frac{1-{\beta }^t}{1-\beta }$，所以当t足够大时${\beta }^t\approx 0$,此时便是严格意义上的指数加权移动平均。
• 在优化算法中，我们一般取$\beta \ge 0.9$，此时有${\beta }^{\frac{1}{1-\beta }}\approx \frac{1}{e}\approx 0.36$,也就是说$N=\frac{1}{1-\beta }$天后，曲线的高度下降到了约原来的$\frac{1}{3}$，由于时间越往前推移$\theta$权重越来越小。所以我们可以每次只考虑最近$N=\frac{1}{1-\beta }$天的数据来计算当前时刻的EWMA，这就是移动平均的来源。

由上面的分析可将${\nu }_t$看作是最近$\frac{1}{1-\beta }$天的平均温度。

红色：$\beta =0.9$，$\frac{1}{1-\beta }=\frac{1}{1-0.9}=10$

当前温度是以最近十天的加权平均值，而做出的温度变化轨迹。

红色曲线，比起绿线和黄线更好的平均了温度，效果更好。

绿色：$\beta =0.98$，$\frac{1}{1-\beta }=\frac{1}{1-0.98}=50$

当前温度是以最近五十天的加权平均值，而做出的温度变化轨迹。

这就是粗略平均了一下，过去50天的温度，这时作图可以得到绿线。这个高值要注意几点，你得到的曲线要平坦一些，原因在于你多平均了几天的温度，所以这个曲线，波动更小，更加平坦，缺点是曲线进一步右移，因为现在平均的温度值更多，要平均更多的值，指数加权平均公式在温度变化时，适应地更缓慢一些，所以会出现一定延迟，因为当$\beta =0.98$，相当于给前一天的值加了太多权重，只有0.02的权重给了当日的值，所以温度变化时，温度上下起伏，当$\beta =0.98$较大时，指数加权平均值适应地更缓慢一些。

黄色：$\beta =0.5$，$\frac{1}{1-\beta }=\frac{1}{1-0.5}=2$
当前温度是以最近两天的加权平均值，而做出的温度变化轨迹。

这是平均了两天的温度。由于仅平均了两天的温度，平均的数据太少，所以得到的曲线有更多的噪声，有可能出现异常值，但是这个曲线能够更快适应温度变化。

3.1.2 EWMA 在 Momentum 优化算法中应用的理解

现在，我们对动量法的速度变量即梯度变量做变形：

$$\Delta {\theta }_t\leftarrow \beta \Delta {\theta }_{t-1}-(1-\beta )\left(\frac{\alpha }{1-\beta }{\mathbf{g}}_t\right).$$

1. 由指数加权移动平均的形式可得，梯度变量$\Delta {\theta }_t$实际上对序列 { − α g t − i / ( 1 − β ) : i = 0 , … , 1 / ( 1 − β ) − 1 } \{-\alpha\boldsymbol{g}_{t-i} /(1-\beta):i=0,\ldots,1/(1-\beta)-1\} {−αgt−i​/(1−β):i=0,…,1/(1−β)−1}做了指数加权移动平均。
2. 换句话说，相比于小批量随机梯度下降，动量法在每个时间步的自变量更新量近似于将前者对应的最近$1/(1-\beta )$个时间步的更新量做了指数加权移动平均后再除以$1-\beta$。
3. 所以，在动量法中，自变量在各个方向上的移动幅度不仅取决于当前梯度，还取决于过去的各个梯度在各个方向上是否一致。
4. 在某个时间段内一些参数的梯度方向与之前的不一致时，那么真实的参数更新幅度会变小；相反，若在某个时间段内的参数的梯度方向都一致，那么其真实的参数更新幅度会变大，起到加速收敛的作用。在迭代后期，由于随机噪声问题，经常会在收敛值附近震荡，动量法会起到减速作用，增加稳定性。

3.2 Nesterov加速梯度下降法

\quad \quad Nesterov 加速梯度（Nesterov Accelerated Gradient，NAG）是一种对动量法的改进，也称为Nesterov动量法（Nesterov Momentum）。

\quad \quad 在动量法中，实际的参数更新方向$\Delta {\theta }_t$为上一步的参数更新方向$\Delta {\theta }_{t-1}$ 和当前梯度的反方向$-{\mathbf{g}}_t$ 的叠加．这样，$\Delta {\theta }_t$ 可以被拆分为两步进行，先根据$\Delta {\theta }_{t-1}$ 更新一次得到参数$\hat{\theta }$,再用$-{\mathbf{g}}_t$进行更新．
$$\begin{gathered} \hat{\theta }={\theta }_{t-1}+\beta \Delta {\theta }_{t-1} \\ {\theta }_t=\hat{\theta }-\alpha {\mathbf{g}}_t \end{gathered}$$

其中梯度${\mathbf{g}}_t$为点${\theta }_{t-1}$上的梯度，因此在第二步更新中有些不太合理．更合理的更新方向应该为$\hat{\theta }$上的梯度．
这样，合并后的更新方向为
$$\Delta {\theta }_t=\beta \Delta {\theta }_{t-1}-\alpha {\mathbf{g}}_t({\theta }_{t-1}+\beta \Delta {\theta }_{t-1})$$

其中，${\mathbf{g}}_t({\theta }_{t-1}+\beta \Delta {\theta }_{t-1})$表示损失函数在点$\hat{\theta }={\theta }_{t-1}+\beta \Delta {\theta }_{t-1}$上的偏导数。

图7.6给出了动量法和Nesterov加速梯度在参数更新时的比较．

基于学习率调整产生的梯度下降优化算法

在之前介绍过的优化算法中，目标函数自变量的每一个元素在相同时间步都使用同一个学习率来自我迭代。举个例子，假设目标函数为$f$，自变量为一个二维向量$[x_1,x_2{]}^{\top }$，该向量中每一个元素在迭代时都使用相同的学习率。例如，在学习率为$\eta$的梯度下降中，元素$x_1$和$x_2$都使用相同的学习率$\eta$来自我迭代：

$$x_1\leftarrow x_1-\eta \frac{\partial f}{\partial x_1},x_2\leftarrow x_2-\eta \frac{\partial f}{\partial x_2}.$$

在[“动量法”]一节里提到，当$x_1$和$x_2$的梯度值有较大差别时，需要选择足够小的学习率使得自变量在梯度值较大的维度上不发散。但这样会导致自变量在梯度值较小的维度上迭代过慢。动量法依赖指数加权移动平均使得自变量的更新方向更加一致，从而降低发散的可能。我们也可以从学习率调整这一方面着手：根据自变量在每个维度的梯度值的大小来调整各个维度上的学习率，从而避免统一的学习率难以适应所有维度的问题 。下面介绍几种自适应学习率算法。

3.3 Adagrad算法

\quad \quad AdaGrad算法是借鉴L2正则化的思想，每次迭代时自适应地调整每个参数的学习率。其方法会使用梯度${\mathbf{g}}_t$按元素平方的累加变量${\mathbf{s}}_t$。在时间步0，AdaGrad将${\mathbf{s}}_0$中每个元素初始化为0。

• 在时间步$t$，首先将小批量随机梯度${\mathbf{g}}_t$按元素平方后累加到变量${\mathbf{s}}_t$：

$${\mathbf{s}}_t={\mathbf{s}}_{t-1}+{\mathbf{g}}_t\odot {\mathbf{g}}_t,$$

其中$\odot$是按元素相乘。

• 接着，我们将目标函数自变量中每个元素的学习率通过按元素运算重新调整一下，得到参数更新差值为

$$\Delta {\theta }_t=-\frac{\alpha }{\sqrt{{\mathbf{s}}_t+ϵ}}\odot {\mathbf{g}}_t,$$

• 参数更新：

$${\theta }_t={\theta }_{t-1}-\frac{\alpha }{\sqrt{{\mathbf{s}}_t+ϵ}}\odot {\mathbf{g}}_t$$

其中$\alpha$是学习率，$ϵ$是为了维持数值稳定性而设置的非常小的常数，一般取值$e^{-7}$到$e^{-10}$。这里开方、除法和乘法的运算都是按元素运算的。这些按元素运算使得目标函数自变量中每个元素都分别拥有自己的学习率。

算法 4.3 AdaGrad 算法(用于小批量梯度下降）
输入：
\quad \quad 学习率$\alpha$； 初始参数${\theta }_0$；常数$ϵ$(通常为$e^{-8}$)；初始梯度累积变量${\mathbf{s}}_0$为0
输出：
\quad \quad 参数$\theta$
过程：

• 迭代:

1. 从训练集中抽取包含m个样本 { x ( 1 ) , . . . , x ( m ) } \{x^{(1)},...,x^{(m)}\} {x(1),...,x(m)}的小批量，对应目标为$y^{(i)}$
2. 计算梯度：$${\mathbf{g}}_t=\frac{1}{m}\frac{\partial J(\theta )}{\partial \theta }$$ $J(\theta )$为目标函数或代价函数。
3. 累积平方梯度：
   $${\mathbf{s}}_t:={\mathbf{s}}_t+{\mathbf{g}}_t\odot {\mathbf{g}}_t,$$
4. 参数更新：$${\theta }_t:={\theta }_t--\frac{\alpha }{\sqrt{{\mathbf{s}}_t+ϵ}}\odot {\mathbf{g}}_t$$

• 终止：可设置最大迭代次数或梯度小于某值。

【代码实现】

特点：

• 在 AdaGrad 算法中，如果某个参数的偏导数累积比较大，其学习率相对较小；相反，如果其偏导数累积较小，其学习率相对较大．但整体是随着迭代次数的增加，学习率逐渐缩小．
• AdaGrad 算法的缺点是在经过一定次数的迭代依然没有找到最优点时，由于这时的学习率已经非常小，很难再继续找到最优点。

3.4 RMSprop算法

\quad \quad RMSprop算法是Geoff Hinton提出的一种自适应学习率的方法，可以在有些情况下避免 AdaGrad 算法中学习率不断单调下降以至于过早衰减的缺点。
算法：

\quad \quad RMSProp算法首先将这些梯度按元素平方做指数加权移动平均。具体来说，给定超参数$0\le \beta <1$，RMSProp算法在时间步$t>0$计算

$${\mathbf{s}}_t\leftarrow \beta {\mathbf{s}}_{t-1}+(1-\beta ){\mathbf{g}}_t\odot {\mathbf{g}}_t.$$

和AdaGrad算法一样，RMSProp算法将目标函数自变量中每个元素的学习率通过按元素运算重新调整，得到参数更新差值为

$$\Delta {\theta }_t=-\frac{\alpha }{\sqrt{{\mathbf{s}}_t+ϵ}}\odot {\mathbf{g}}_t,$$

参数更新方式如下：
$$\begin{gathered} {\mathbf{s}}_t:=\beta {\mathbf{s}}_t+(1-\beta ){\mathbf{g}}_t\odot {\mathbf{g}}_t., \\ {\theta }_t:={\theta }_t-\frac{\alpha }{\sqrt{{\mathbf{s}}_t+ϵ}}\odot {\mathbf{g}}_t \end{gathered}$$

其中$\alpha$是学习率，$ϵ$是为了维持数值稳定性而设置的非常小的常数，一般取值$e^{-7}$到$e^{-10}$,$\beta$为衰减率，一般取值为0.9。

• 因为RMSProp算法的状态变量${\mathbf{s}}_t$是对平方项${\mathbf{g}}_t\odot {\mathbf{g}}_t$的指数加权移动平均，所以可以看作最近$1/(1-\beta )$个时间步的小批量随机梯度平方项的加权平均。如此一来，自变量每个元素的学习率在迭代过程中就不再一直降低（或不变）。
• 从上式可以看出，RMSProp 算法和 AdaGrad 算法的区别在于${\mathbf{s}}_t$ 的计算由累积方式变成了指数衰减移动平均．在迭代过程中，每个参数的学习率并不是呈衰减趋势，既可以变小也可以变大．

3.5 AdaDelta算法

\quad \quad AdaDelta 算法也是 AdaGrad 算法的一个改进．和 RMSprop算法类似，AdaDelta 算法通过梯度平方的指数衰减移动平均来调整学习率．此外，AdaDelta算法还引入了每次参数更新差值Δ𝜃的平方的指数衰减权移动平均．

\quad \quad 第t次迭代时，参数更新差值$\Delta \theta$的平方的指数衰减加权移动平均为
$$\Delta X_{t-1}^2={\beta }_1\Delta X_{t-2}^2+(1-\beta )\Delta {\theta }_{t-1}\odot \Delta {\theta }_{t-1}$$

其中${\beta }_1$为衰减率

\quad \quad AdaDelta 算法的参数更新差值为
$$\Delta {\theta }_t=-\frac{\sqrt{\Delta X_{t-1}^2+ϵ}}{\sqrt{{\mathbf{s}}_t+ϵ}}{\mathbf{g}}_t$$
其中，
$${\mathbf{s}}_t=\beta {\mathbf{s}}_{t-1}+(1-\beta ){\mathbf{g}}_t\odot {\mathbf{g}}_t.$$
$\Delta X_{t-1}^2$为参数更新差值Δ𝜃 的指数衰减权移动平均．

\quad \quad 从上式可以看出，AdaDelta算法将RMSprop算法中的初始学习率𝛼改为动态计算的$\sqrt{\Delta X_{t-1}^2}$，在一定程度上平抑了学习率的波动．

3.6 Adam 算法

\quad \quad Adam算法（Adaptive Moment Estimation Algorithm）可以看作动量法和 RMSprop 算法的结合，不但使用动量作为参数更新方向，而且可以自适应调整学习率。

\quad \quad Adam算法使用了动量变量${\mathbf{v}}_t$和RMSProp算法中小批量随机梯度按元素平方的指数加权移动平均变量${\mathbf{s}}_t$，并在时间步0将它们中每个元素初始化为0。
1）给定超参数$0\le {\beta }_1<1$（算法作者建议设为0.9），时间步$t$的动量变量${\mathbf{v}}_t$即小批量随机梯度${\mathbf{g}}_t$的指数加权移动平均：

$${\mathbf{v}}_t\leftarrow {\beta }_1{\mathbf{v}}_{t-1}+(1-{\beta }_1){\mathbf{g}}_t.$$

2）和RMSProp算法中一样，给定超参数$0\le {\beta }_2<1$（算法作者建议设为0.999），将小批量随机梯度按元素平方后的项${\mathbf{g}}_t\odot {\mathbf{g}}_t$做指数加权移动平均得到${\mathbf{s}}_t$：

$${\mathbf{s}}_t={\beta }_2{\mathbf{s}}_{t-1}+(1-{\beta }_2){\mathbf{g}}_t\odot {\mathbf{g}}_t.$$

3）由于我们将${\mathbf{v}}_0$和${\mathbf{s}}_0$中的元素都初始化为0，在时间步$t$我们得到${\mathbf{v}}_t=(1-{\beta }_1){\sum }_{i=1}^t{\beta }_1^{t-i}{\mathbf{g}}_i$。将过去各时间步小批量随机梯度的权值相加，得到 $(1-{\beta }_1){\sum }_{i=1}^t{\beta }_1^{t-i}=1-{\beta }_1^t$。需要注意的是，当$t$较小时，过去各时间步小批量随机梯度权值之和会较小。例如，当${\beta }_1=0.9$时，${\mathbf{v}}_1=0.1{\mathbf{g}}_1$。为了消除这样的影响，对于任意时间步$t$，我们可以将${\mathbf{v}}_t$再除以$1-{\beta }_1^t$，从而使过去各时间步小批量随机梯度权值之和为1。这也叫作偏差修正。在Adam算法中，我们对变量${\mathbf{v}}_t$和${\mathbf{s}}_t$均作偏差修正：

$${\hat{\mathbf{v}}}_t=\frac{{\mathbf{v}}_t}{1-{\beta }_1^t},$$

$${\hat{\mathbf{s}}}_t=\frac{{\mathbf{s}}_t}{1-{\beta }_2^t}.$$

3）接下来，Adam算法使用以上偏差修正后的变量${\hat{\mathbf{v}}}_t$和${\hat{\mathbf{s}}}_t$，定义参数更新差值为

$$\Delta {\theta }_t=-\frac{\alpha {\hat{\mathbf{v}}}_t}{\sqrt{{\hat{\mathbf{s}}}_t+ϵ}},$$

其中$\alpha$是学习率，通常设为0.001，并且也可以进行衰减。$ϵ$是为了维持数值稳定性而添加的常数，如$10^{-8}$。和AdaGrad算法、RMSProp算法以及AdaDelta算法一样，目标函数自变量中每个元素都分别拥有自己的学习率。

4） 最后，使用${\mathbf{\Delta }\mathbf{\theta }}_t$更新参数：

$${\mathbf{\theta }}_t\leftarrow {\mathbf{\theta }}_{t-1}+{\mathbf{\Delta }\mathbf{\theta }}_t.$$

3.7 NAdam 算法

一种自然的Adam算法的改进方法是引入Nesterov加速梯度，称为NAdam 算法。

4、梯度截断

参考资料：
https://blog.csdn.net/qq_41080850/article/details/85240479