梯度下降 优化算法

梯度下降是最小化目标函数的方法

梯度下降变体

==目的：考虑到 更新参数的准确性 和 时间，从而作出权衡 ==

batch gradient descent

公式：
$$\theta =\theta -\eta \cdot {\nabla }_{\theta }J(\theta )$$

优点： 批量梯度下降保证收敛到凸误差表面的全局最小值和非凸表面的局部最小值。
缺点： 需要计算整个数据集的梯度来执行一次更新，因此速度慢；不允许模型在线更新。

代码：

for i in range(nb_epochs):
    params_grad = evaluate_gradient(loss_function , data , params)
    params = params - learning_rate * params_grad

stochastic gradient descent

随机梯度下降SGD对每个训练示例$(x_i,y_i)$执行参数更新

公式：
$$\theta =\theta -\eta \cdot {\nabla }_{\theta }J(\theta ;x^{(i)};y^{(i)})$$

优点： 速度快，也可以用来在线更新参数。
缺点： 更新时，方差高，导致目标函数大幅波动。
代码：

for i in range(nb_epochs):
    np.random.shuffle(data)
    for example in data:
        params_grad = evaluate_gradient(loss_function , example , params)
        params = params - learning_rate * params_grad

mini-batch gradient descent

小批量梯度下降采取了折中的方法，通常使用较多的方法

公式：
$$\theta =\theta -\eta \cdot {\nabla }_{\theta }J(\theta ;x^{(i:i+n)};y^{(i:i+n)})$$
优点：

• 减少了参数更新的方差，这样可以更稳定；
• 速度比 batch gradient descent 快

挑战：

• 选择合适的学习率很难。学习率太大会导致收敛速度慢，学习率太大可能会导致损失函数在最小值附近波动甚至发散。
• learning rate 需提前定义，对所有参数更新都使用同样的learning rate。有这样一种情况：对于不经常出现的特征，希望更新快一点，对于常出现的特征希望更新慢一点，因此可能无法适应数据集的所有特征。
• 在鞍点震荡

解释一下鞍点，计算机中有很多名词，乍一看没有概念，查一查，还真像那么回事。人生也一样，很多事不理解，但却是有道理的。

鞍点是一个非局部极值点的驻点。如上图所示，从该点出发的一个方向是函数的极大值点，而在另一个方向是函数的极小值点。知道鞍点长什么样即可。

代码：

for i in range(nb_epochs):
    np.random.shuffle(data)
    for batch in get_batches(data , batch_size =50):
        params_grad = evaluate_gradient(loss_function, batch, params)
        params = params - learning_rate * params_grad

梯度下降优化算法

针对上述的挑战，所以提出一些梯度下降优化算法。

Momentum（动量）

SGD有可能会在峡谷地区的某些局部极值点震荡。这种情况下，可以使用Momentum解决。如图1，我自己找的图。图2是论文中的图片。

图一

图二

Momentum是加速SGD并抑制震荡的方法，如图2(b)。论文中写“accelerate SGD in the relevant direction”，此处我不是特别理解，何为“相关”方向？

公式：
$$\begin{array}{rl}{v}_t& =\gamma v_{t-1}+\eta \cdot {\nabla }_{\theta }J(\theta )\\ \theta & =\theta -v_t\end{array}$$
$\gamma$一般设置为0.9

Nesterov accelerated gradient（NAG）

公式：
$$\begin{array}{rl}{v}_t& =\gamma v_{t-1}+\eta \cdot {\nabla }_{\theta }J(\theta -\gamma v_{t-1})\\ \theta & =\theta -v_t\end{array}$$

将$\gamma$设置为0.9。momentum先计算一个梯度（短的蓝色向量），然后在加速更新梯度的方向进行一个大的跳跃（长的蓝色向量）。nesterov首先在之前加速的梯度方向进行一个大的跳跃（棕色向量），测量梯度，然后进行矫正（绿色向量），这种更新可以防止梯度更新的太快，从而提升响应能力。

Adagrad

针对这个挑战，Adagrad使学习率适应参数，对不频繁出现的参数执行较大的更新，对频繁出现的参数执行较小的更新。因此，Adagrad非常适合处理稀疏数据。

NLP 新词发现 可以优先使用Adagrad了！

在以上方法中，每个参数${\theta }_i$都使用相同的学习率$\eta$。而在Adagrad中，在每个时间步长$t$中，对每个参数${\theta }_i$使用不同的学习率。

首先设 $g_{t,i}$为第t轮第i个参数的梯度，即$g_{t,i}={\nabla }_{{\theta }_t}J({\theta }_{t,i})$

然后，其参数更新的公式为：
$${\theta }_{t+1,i}={\theta }_{t,i}-\eta \cdot g_{t,i}$$

Adagrad在每个时间步长$t$ 为每个参数${\theta }_i$ 修改一般学习率$\eta$
最后，公式为：
$${\theta }_{t+1,i}={\theta }_{t,i}-\frac{\eta }{\sqrt{G_{t,ii}+ϵ}}\cdot g_{t,i}$$

其中，$G_t\in R^{d\times d}$为对角矩阵，每个对角元素$i$为对应参数${\theta }_i$从步长$1至t$的梯度平方和。$ϵ$是一个平滑项，用于避免分母为0（通常为$1e-8$）。

因为，$G_{t,ii}$和$g_{t,i}$之间执行逐元素相乘，所以公式可以写为：
$${\theta }_{t+1}={\theta }_t-\frac{\eta }{\sqrt{G_t+ϵ}}\odot g_t$$

有趣的是：Adagrad没有平方根运算($\frac{1}{\sqrt{G_{t,ii}+ϵ}}$)，算法效果会更差。[论文写到的，我没有验证]

优点：

• 自动调整学习率。大多使用默认值0.01

缺点：

• Adagrad 分母累积平方梯度($\frac{1}{\sqrt{G_{t,ii}+ϵ}}$)，其中每项皆为正数，因此在训练过程中不断变大，从而导致整体的学习率($\frac{\eta }{\sqrt{G_{t,ii}+ϵ}}$)变小。若梯度趋于0，则训练结束。

Adadelta

Adadelta是Adagrad的扩展。Adadelta没有累积所有过去的平方梯度，而是将累积过去梯度的窗口限制为某个固定大小的$w$。

看论文，Adadelta的公式解释有点绕。不如，这样？

version 1：
Adadelta的公示就是将Adagrad的平方根运算($\frac{1}{\sqrt{G_{t,ii}+ϵ}}$)变成了($\frac{1}{\sqrt{E[g^2{]}_t+ϵ}}$)

其中，梯度平均值$E[g^2{]}_t$仅取决于先前的平均值和当前的梯度。
$E[g^2{]}_t$的公式如下，并设置$\gamma$为与动量相似的值，大约为0.9.
$$E[g^2{]}_t=\gamma E[g^2{]}_{t-1}+(1-\gamma )g_t^2$$

又因为($\frac{1}{\sqrt{E[g^2{]}_t+ϵ}}$)是梯度的均方根(RMS)，所以可以将公式写为：
$$\frac{1}{\sqrt{E[g^2{]}_t+ϵ}}=\frac{1}{RMS[g{]}_t}$$

version 2:
略

RMSprop

和 Adadelta 版本1一样。（大概是因为和Adadelta同时提出的原因）
公式：
$$\begin{array}{rl}E[g^2{]}_t& =0.9E[g^2{]}_{t-1}+0.1g_t^2\\ {\theta }_{t+1}& ={\theta }_t-\frac{\eta }{\sqrt{E[g^2{]}_t+ϵ}}\end{array}$$

建议：$\eta$=0.01

Adam

Adaptive Moment Estimation(Adam)自适应矩估计：也是计算每个参数的自适应学习率的方法。
除了像 Adadelta 和 RMSprop 一样存储 之前平方梯度$v_t$ 的 指数衰减平均值，还保留了之前梯度$m_t$指数衰减平均值，这一点与动量类似。

公式：
$$\begin{array}{rl}\widehat{m_t}& =\frac{m_t}{1-{\beta }_1^t}\\ {\hat{v}}_t& =\frac{v_t}{1-{\beta }_2^t}\end{array}$$

$m_t$ 和 $v_t$ 分别是 对梯度 的 一阶矩(均值) 和 二阶矩(非中心方差) 的 估计值。当$m_t$ 和 $v_t$初始化为0向量时，Adam的作者发现它们都偏向于0，尤其是在初始化的步骤和当衰减率很小的时候（例如β1和β2趋向于1）。

通过计算偏差校正的一阶矩和二阶矩估计来抵消偏差：
$$\begin{array}{rl}m& ={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t\\ v_t& ={\beta }_2{v}_{t-1}+(1-{\beta }_2)g_t^2\end{array}$$

由此，Adam的更新规则为：
$${\theta }_{t+1}={\theta }_t-\frac{\eta }{\sqrt{{\hat{v}}_t}+ϵ}{\hat{m}}_t$$

作者建议设置β1默认值为0.9，β2为0.999，ϵ为10−8。

AdamW

Adam存在某些无法收敛的情况。AdamW是Adam+L2正则化的基础上改进的算法。

Lookahead

https://arxiv.org/pdf/1907.08610.pdf

Lamb

加速预训练进程。模型在进行大批量数据训练时，能够维持梯度更新的精度。

WarmUp

warm-up操作就是在刚开始训练的时候先使用一个较小的学习率，训练一些epoches，等模型稳定时再修改为预先设置的学习率进行训练。

优化SGD的其它策略

• shuffling and curriculum learning
• batch normalization
  感觉 batch normalization 可以挖一下
• early stopping
• gradient noise
  梯度更新时添加一个符合高斯分布(N(0, ${\sigma }^2$))的噪声
  $$g_{t,i}=g_{t,i}+N(0,{\sigma }^2)$$

参考论文：An overview of gradient descent optimization
algorithms