Gradient descent

最新推荐文章于 2022-06-26 17:38:17 发布

BogeyDa

最新推荐文章于 2022-06-26 17:38:17 发布

阅读量497

点赞数

分类专栏： Algorithm 文章标签：梯度下降算法优化

本文链接：https://blog.csdn.net/lrglgy/article/details/89385672

版权

Algorithm 专栏收录该内容

20 篇文章 1 订阅

订阅专栏

第4章梯度下降算法总览

梯度下降指的是，在给定模型参数 $\theta\in \mathbb{R}^d$ 和目标函数 $J(\theta)$ 后，通过沿梯度 $\nabla_\theta J(\theta)$ 的反方向更新参数，不断优化函数，找到函数的局部极小值点。随机梯度下降可概括为如下三步：

计算当前目标函数关于参数的梯度：
$g_t=\nabla_\theta J(\theta_t)$

这里的梯度一般使用的是均方误差的梯度，均方误差的含义是求一个batch中n个样本的n个输出与期望输出的差的平方的平均值。具体表达为： $MSE(y,h_\theta(x))=\frac{1} {m}\sum_{i=1}^m (y^i-h_\theta(x^i))^2$ ,其中 $h_\theta(x)=\theta x+b$ 。
根据历史梯度计算一，二阶动量：
$m_t=\phi(g_1,g_2,...,g_t)$
$v_t=\psi(g_1,g_2,...,g_t)$
更新参数：
$\theta_{t+1}=\theta_t-\frac{m_t}{\sqrt{v_t+\varepsilon}}$

有精力者可以结合Tensorflow常见优化器总结来阅读本文，可以将理论与实践相结合，学习效果更佳。

4.1 梯度下降算法

4.1.1 批量梯度下降算法(BGD)

       批量梯度下降算法为梯度下降算法的最原始形式，使用所有样本梯度数据来更新参数，数学表达如下：
$KaTeX parse error: No such environment: split at position 8: \begin{̲s̲p̲l̲i̲t̲}̲ \theta_{t+1} &…$
       优点：得到全局最优解，易于并行实现；
       缺点：当样本数据过大时，训练过程很慢；
Alt text

4.1.2 随机梯度下降算法(SGD)

       随机梯度下降算法是为解决批量梯度下降算法中样本容量过大的情况，两者其实差不多，批量梯度下降算法是每次更新（迭代）使用所有样本，而随机梯度下降算法是每次更新使用一个样本。简而言之，BGD是一次跨一大步，但步频慢。SGD是一次跨一小步，但步频快，或许不必计算所有的样本就已经达到最优点。
       SGD是小步快走，能否走到最佳位置要随缘，有点随机的感觉，因此叫做随机梯度下降算法。数学表达如下：
$KaTeX parse error: No such environment: split at position 8: \begin{̲s̲p̲l̲i̲t̲}̲ J(\theta_t) &…$
       所以，
$KaTeX parse error: No such environment: split at position 10: \begin{̲s̲p̲l̲i̲t̲}̲ \theta_{t+1}…$
       **优点：**训练速度快；
       **缺点：**准确度低（收敛速度慢），不是全局最优点，在鞍点处震荡，不易并行实现；
Alt text

4.1.3 最小批量梯度下降算法（MBGD）

最小批量梯度下降算法是BGD与SGD的折衷，它结合了BGD一部分准确度高的特点也结合了一部分SGD训练速度快的优点。为了实现准确度高，MBGD使用一批样本数据；为了保证训练速度较快，该批样本的数据量较小。
MBGD是中步中速走，更新参数时使用n个样本（ $m > n > 1$ ），但同时要让n尽量小.数学表达如下：
$\begin{aligned} \theta_{t+1} &= \theta_t - \frac{1}{n} \sum_{i=1}^n J^i(\theta_t)\\ &= \theta_t + \frac{1}{n} \sum_{i=1}^n (y^i-h_\theta(x^i))x^i \end{aligned}$

4.2 梯度下降算法的优化

梯度下降算法存在以下缺陷：

收敛速度较慢；
容易陷于鞍点（局部极值）；
需在节点间通信；

而梯度下降的优化将会对这些缺陷进行优化。
动量(Momentum)，Nesterov，二阶动量（Adgrad,RMSprop,Adam）

4.2.1 动量（Momentum）

       动量方法用于解决SGD收敛速度慢，易陷入局部极值点点的情况。引入历史梯度信息，加速SGD在正确方向上的下降并抑制震荡。其数学表达如下：
$\begin{aligned} v_{t+1} &= \alpha v_t - \eta \nabla J(\theta_{t})\\ &= \alpha v_t - \eta g_{t}\\ \theta_{t+1} &= \theta_t + v_{t+1} \end{aligned}$
       **优点：**收敛速度较SGD快，震荡较少；
       **缺点：**比较难学习一个较好的学习率；
       上面的纯数学表达似乎有一点难理解，可以从物理角度有较为形象生动的理解，历史梯度可以理解为“惯性”。
       梯度 $g_t$ 可以类比为物体运动中时刻 $t$ 的加速度。那么动量 $v_t$ 就可以类比为物体运动到时刻 $t$ 时的速度，而参数 $\theta$ 就是物体在 $t$ 时刻的运动趋势，这个运动趋势 $\theta$ 不仅与该时刻的运动加速度 $g_t$ 相关也与运动速度 $v_t$ 有关。
       简而言之，当要改变运动趋势时，不仅要克服加速度的影响也要克服速度的影响，即使加速度为零，剩余的速度（惯性）依然会让物体继续运动。
       SGD与Momentum对比：

SGD

Alt text

Momentum

权威参考如下(On the importance of initialization and momentum in deep learning)：
Alt text

4.2.2 Nesterov_momentum

       为了能让梯度改变更加智能且更早预测变化趋势，Nesterov被提了出来。Nesterov求出此时参数 $\theta_t$ 加上改变量 $\alpha v_{t-1}$ 的梯度，该梯度将作为新的梯度影响动量变化并产生下一时刻的动量。之后则与momentum类似，用当前参数加下一时刻的动量，从而求出下一时刻的参数。数学表达如下：
$KaTeX parse error: No such environment: split at position 8: \begin{̲s̲p̲l̲i̲t̲}̲ \widehat g_t &…$
       **优点：**收敛速度较快；
       **缺点：**暂时还不知道；
       Nesterov与Momentum的区别就是在于求动量改变量 $g_t$ 时有所不同，Momentum 是利用当前位置求梯度（ $\nabla J(\theta_{t})$ ）而 Nesterov 是利用估计的下一时刻位置求梯度（ $\nabla J(\theta_t+\alpha v_t)$ ），其余都一样。因为这个不同，Nesterov可以提前纠正动量方向的偏差。
       利用下图可以更好地理解Nesterov：

SGD-M 的步长计算了当前梯度（短蓝向量）和动量项（长蓝向量）。然而，既然已经利用了动量项来更新，那不妨先计算出下一时刻 \theta 的近似位置（棕向量），并根据该未来位置计算梯度（红向量），然后使用和 SGD-M 中相同的方式计算步长（绿向量）。这种计算梯度的方式可以使算法更好的「预测未来」，提前调整更新速率。
       权威参考如下（lan goodfellow 《deep learning》）：
Alt text

4.2.3 AdaGrad

       之前谈到的算法都是以相同的频率更新参数 $\theta$ 的分量。然而在现实学习模型中有大量的参数，不同的参数一般有不同的更新频率。对于不频繁更新的参数往往希望单次更新步长更大，学习到更多的知识；而频繁更新的参数则希望更新步长较小，保持参数的稳定性。AdaGrad算法正好满足这一要求。
       AdaGrad算法引入了二阶动量，即求出梯度的平方和 $r$ 并将其平方根作为学习步长的分母，当参数更新越频繁则梯度平方和越大，分母越大，学习步长越小。具体数学表达如下：
$\begin{aligned} r_t^i &= r_{t-1}^i + g_t^i\odot g_t^i\\ \theta_{t+1}^i &= \theta_t^i - \frac{\epsilon}{\delta+\sqrt{r_t^i}} \odot g_t^i ，\delta 一般默认取 10^{-7}, \epsilon为全局学习率 \end{aligned}$
       **优点：**非常适合处理稀疏数据；
       **缺点：**累加平方和越来越大，容易导致学习步长趋近零，出现早停，尤其不适合神经网络；依赖于一个全局学习率 $\epsilon$ 。

4.2.4 Adadelta

       Adadelta算法是对Adagrad算法的改进，解决早停和依赖全局学习率的问题。
       为了解决Adgrad早停的问题，Adadelta只累积过去 $\rho$ 窗口大小的梯度，从数学角度来看就是利用了指数加权平均，具体公式如下（以下的公式为针对某一参数的更新，不再用 $i$ 标注不同参数）：
$r_t = \rho r_{t-1} + (1-\rho)(g_t \odot g_t)$
       为解决Adagrad依赖全局学习率的问题，Adadelta将 $t - 1$ 时刻的变化量 $\Delta x_{t-1}$ 的指数加权平均的平方根为分子(用 $E[\Delta x^2]_{t-1}$ 来表示)，当前二阶动量 $r_t$ 的平方根为分母，分式整体为学习率，具体公式如下：
$\Delta x_t = -\frac{\sqrt{E[\Delta x^2]_{t-1}}+\epsilon}{\sqrt{r_t}+\epsilon} \cdot g_t，$
同时还可以求出 $t$ 时刻变化量的加权平均，具体公式如下：
$E[\Delta x^2]_t= \rho E[\Delta x^2]_{t-1} + (1-\rho) \Delta x_t^2.\\ (\epsilon 通常取1e^{-6}，防止分母为零)$
       最后可以求得下一时刻 $t + 1$ 的参数，具体公式如下：
$\theta_{t+1} = \theta_t + \Delta x_t \\ （由于\Delta x 已经带有负号了，所以这里用加号）$
       优点： 1. 非常适合处理稀疏数据； 2. 优化了Adgrad的缺点；
       **缺点：**暂时不知道；
       权威参考如下(《AdaDelta: An Adaptive Learning Rate Method》)：
Alt text

4.2.5 RMSprop

       RMSprop算法也是对Adgrad算法的改进，它对Adgrad算法的早停问题进行了改进，采取的思路与Adadelta差不多。具体公式如下：
$\begin{aligned} r_t &= \rho r_{t-1} + (1-\rho) g_t \odot g_t \\ \Delta \theta_t &= -\frac{\epsilon}{\sqrt{r_t+\delta}} \odot g_t \\ \theta_{t+1} &= \theta_t + \Delta \theta_t \end{aligned}$
       优点： 1. 非常适合处理稀疏数据； 2. 优化了Adgrad早停的问题；
       **缺点：**依赖全局学习率；
       权威参考如下（lan goodfellow 《deep learning》）：
Alt text

4.2.6 Adam

       Adam 算法结合了 Momentum 和 Rmsporp 两者的思想，对局部震荡和早停的问题做出了改进。具体公式如下：
$\begin{aligned} r_t &= \rho_1 r_{t-1} + (1-\rho_1) g_t \odot g_t \\ m_t &= \rho_2 m_{t-1} + (1-\rho_2) g_t \\ \widehat r_t &= \frac{r_t}{(1-\rho_1^t)} \\ \widehat m_t &= \frac{m_t}{(1-\rho_2^t)} \\ \theta_{t+1} &= \theta_t - \alpha \frac{\widehat m_t}{\sqrt{\widehat r_t}+\epsilon} \\ \end{aligned}$
        $\rho_1^t$ 与 $\rho_2^t$ 中t表示t次幂。
       权威参考如下（Diederik P. Kingma et al. ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION, ICLR2015）：
Alt text
       本文中最后一个公式是当前参数 $\theta_t$ 减去此时改变量 $\alpha \frac{\widehat m_t}{\sqrt{\widehat r_t}+\epsilon}$ ，从而得到下一时刻参数 $\theta_{t+1}$ ，而参考资料中是当前参数 $\theta_{t-1}$ 与下一时刻改变量 $\alpha \frac{\widehat m_t}{\sqrt{\widehat r_t}+\epsilon}$ 求差，貌似存在矛盾，其实道理一样，本文利用当前参数 $\theta_t$ 求当前梯度 $g_t$ ，而参考资料是利用前一刻参数 $\theta_{t-1}$ 求当前梯度 $g_t$ ，如果将资料中的 $g_t$ 写为 $g_{t-1}$ ，结果与本文是相同的。
       优点： 1. 非常适合处理稀疏数据； 2. 优化了Adgrad早停的问题；3. 优化了局部震荡问题；
       缺点： 依赖全局学习率；