梯度下降法

梯度下降法

首先引出梯度的定义：

梯度是一个矢量，其方向上的方向导数最大，其值的大小正好是此最大方向导数

最优化问题在机器学习中有非常重要的地位，很多机器学习算法最后都归结为求解最优化问题。在各种最优化算法中，梯度下降法是最简单、最常见的一种，在深度学习的训练中被广为使用。

最优化问题

最优化问题是求解函数极值的问题，包括极大值和极小值。相信所有的读者对这个问题都不陌生，在初中时我们就学会了求解二次函数的极值（抛物线的顶点），高中时学习了幂函数，指数函数，对数函数，三角函数，反三角函数等各种类型的函数，求函数极值的题更是频频出现。这些方法都采用了各种各样的技巧，没有一个统一的方案。

真正的飞跃发生在大学时，微积分为我们求函数的极值提供了一个统一的思路：找函数的导数等于0的点，因为在极值点处，导数必定为0。这样，只要函数的可导的，我们就可以用这个万能的方法解决问题，幸运的是，在实际应用中我们遇到的函数基本上都是可导的。

在机器学习之类的实际应用中，我们一般将最优化问题统一表述为求解函数的极小值问题，即：
$$mi{n}_{x}f(x)$$
其中x称为优化变量，f称为目标函数。极大值问题可以转换成极小值问题来求解，只需要将目标函数加上负号即可：
$$ma{x}_{x}f(x)<=>mi{n}_x-f(x)$$
有些时候会对优化变量x有约束，包括等式约束和不等式约束，它们定义了优化变量的可行域，即满足约束条件的点构成的集合。在这里我们先不考虑带约束条件的问题。

一个优化问题的全局极小值$x^{\ast }$是指对于可行域里所有的x，有：
$$f(x^{\ast })\le f(x)$$
即全局极小值点处的函数值不大于任意一点处的函数值。局部极小值$x^{\ast }$定义为存在一个$\delta$邻域，对于在邻域内：
$$||x-x^{\ast }||\le \delta$$
并且在可行域内的所有x，有：
$$f(x^{\ast })\le f(x)$$
即局部极小值点处的函数值比一个局部返回内所有点的函数值都小。在这里，我们的目标是找到全局极小值。不幸的是，有些函数可能有多个局部极小值点，因此即使找到了导数等于0的所有点，还需要比较这些点处的函数值。

导数与梯度

由于实际应用中一般都是多元函数，因此我们跳过一元函数，直接介绍多元函数的情况。梯度是导数对多元函数的推广，它是多元函数对各个自变量偏导数形成的向量。多元函数的梯度定义为：
$$\nabla f(x)=(\frac{\partial f}{\partial }{x}_1,...,\frac{\partial f}{\partial x_n}{)}^T$$
其中$\nabla$称为梯度算子，它作用于一个多元函数，得到一个向量。下面是计算函数梯度的一个例子：
$$\nabla (x^2+xy-y^2)=(2x+y,x-2y)$$
可导函数在某一点处取得极值的必要条件是梯度为0，梯度为0的点称为函数的驻点，这是疑似极值点。需要注意的是，梯度为0只是函数取极值的必要条件而不是充分条件，即梯度为0的点可能不是极值点。

至于是极大值还是极小值，要看二阶导数/Hessian矩阵，Hessian矩阵我们将在后面的文章中介绍，这是由函数的二阶偏导数构成的矩阵。这分为下面几种情况：

如果Hessian矩阵正定，函数有极小值

如果Hessian矩阵负定，函数有极大值

如果Hessian矩阵不定，则需要进一步讨论

这和一元函数的结果类似，Hessian矩阵可以看做是一元函数的二阶导数对多元函数的推广。一元函数的极值判别法为，假设在某点处导数等于0，则：

如果二阶导数大于0，函数有极小值

如果二阶导数小于0，函数有极大值

如果二阶导数等于0，情况不定

在这里我们可能会问：直接求函数的导数/梯度，然后令导数/梯度为0，解方程，问题不就解决了吗？事实上没这么简单，因为这个方程可能很难解。比如下面的函数：
$$f(x,y)=x^3-2x^2+e^{xy}-y^3+10y^2+100sin(xy)$$
我们分别对x和y求偏导数，并令它们为0，得到下面的方程组：
$$\{\begin{array}{l}3x^2-4x+y{e}^{xy}+100ycon(xy)=0\\ x{e}^{xy}-3y^2+20y+xcos(xy)=0\end{array}$$
这个方程非常难以求解，对于有指数函数，对数函数，三角函数的方程，我们称为超越方程，求解的难度并不比求极值本身小。

精确的求解不太可能，因此只能求近似解，这称为数值计算。工程上实现时通常采用的是迭代法，它从一个初始点$x_0$开始，反复使用某种规则从$x_k$移动到下一个点$x_{k1}$，构造这样一个数列，直到收敛到梯度为0的点处。即有下面的极限成立：
$$\underset{k->+\infty }{\lim }\nabla f(x_k)=0$$
这些规则一般会利用一阶导数信息即梯度；或者二阶导数信息即Hessian矩阵。这样迭代法的核心是得到这样的由上一个点确定下一个点的迭代公式：
$$x_{k+1}=h(x_k)$$
这个过程就像我们处于山上的某一位置，要到山底找水喝，因此我们必须到达最低点处：

此时我们没有全局信息，根本就不知道哪里是地势最低的点，只能想办法往山下走，走 一步看一步。刚开始我们在山上的某一点处，每一步，我们都往地势更低的点走，以期望能走到山底。

推导过程

​ 梯度下降法(gradient descent)或最速下降法(steepest descent)是无解无约束最优化问题的一种最常见的方法，具有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。

​ 假设f(x)是$R^n$上具有一阶连续偏导的函数。要求解的无约束最优化问题是
$$\begin{gathered} \underset{x\in R^n}{\min }f(x) \\ \text{\hspace{1em}(A.1)} \end{gathered}$$
$x^{\ast }$表示目标函数f(x)的极小点。

​ 梯度下降法是一种迭代算法。选取适当的初值$x^{(0)}$,不断迭代，更新x的值，进行目标函数的极小化，直到收敛。由于负梯度方向是使函数值下降最快的方向，在迭代的每一步，以负梯度方向更新x的值，从而达到减少函数值的目的。

​ 由于f(x)具有一节连续偏导数，若第k次迭代值为$x^{(k)}$,则可将f(x)在$x^{(k)}$附近进行一阶泰勒展开：
$$f(x)=f(x^{(k)})+g_k^T(x-(x^{(k)})\text{\hspace{1em}(A.2)}$$
这里，$g_k=g(x^{(k)})=\nabla f(x^{(k)})$为f(x)在$x^{(k)}$的梯度。

​ 求出第k+1次迭代值$x^{(k+1)}$：
$$x^{(k+1)}\leftarrow x^{(k)}+{\lambda }_k{p}_k\text{\hspace{1em}(A.3)}$$
其中，$p_k$是搜索方向，取负梯度方向$p_k=-\nabla f(x^{(k)}),{\lambda }_k$是步长，由一维搜索确定，即${\lambda }_k$使得

注:此时$g_k^T(x-(x^{(k)})中g_k^T与(x-(x^{(k)})是相反方向$

$$f(x^{(k)}+{\lambda }_k{p}_k)=\underset{\lambda \ge 0}{\min }f(x^{(k)}+\lambda p_k)\text{\hspace{1em}(A.4)}$$

梯度下降法算法如下:

算法A.1(梯度下降法)

输入：目标函数f(x),梯度函数g(x)=$\nabla f(x)$,计算精度$ϵ$;

输出：f(x)的极小值$x^{\ast }$

(1)取初始值$x^{(0)}\in R^n$,置k=0。

(2)计算$f(x^{(k)})$。

(3)计算梯度$g_k=g(x^{(k)}),$当$||g_k||<ϵ$ ,时，停止迭代，令$x^{\ast }=x^{(k)}$;否则，令$p_k=-g(x^{(k)}),$求${\lambda }_k$,使
$$f(x^{(k)}+{\lambda }_k{p}_k)=\underset{\lambda \ge 0}{\min }f(x^{(k)}+\lambda p_k)$$
(4)置$x^{(k+1)}=x^{(k)}+{\lambda }_k{p}_k$,计算$f(x^{(k+1)})$

当$||f(x^{(k+1)}-f(x^{(k)}||<ϵ$或$||x^{(k+1)}-x^{(k)}||<ϵ$时，停止迭代，令$x^{\ast }=x^{(k+1)}$.

(5)否则，置k=k+1,转(3)。

当目标函数是凸函数时，梯度下降法的解是全局最优解。一般情况下，其解不保证是全局最优解。梯度下降法的收敛速度为未必是很快的。

实现细节问题

下面我们介绍梯度下降法实现时的一些细节问题，包括初始值的设定，学习率的设定，下面分别进行介绍。

初始值的设定

一般的，对于不带约束条件的优化问题，我们可以将初始值设置为0，或者设置为随机数，对于神经网络的训练，一般设置为随机数，这对算法的收敛至关重要[1]。

学习率的设定

学习率设置为多少，也是实现时需要考虑的问题。最简单的，我们可以将学习率设置为一个很小的正数，如0.001。另外，可以采用更复杂的策略，在迭代的过程中动态的调整学习率的值。比如前1万次迭代为0.001，接下来1万次迭代时设置为0.0001。

面临的问题

在实现时，梯度下降法可能会遇到一些问题，典型的是局部极小值和鞍点问题，下面分别进行介绍。

局部极小值

有些函数可能有多个局部极小值点，下面是一个例子：

这张图中的函数有3个局部极值点，分别是A，B和C，但只有A才是全局极小值，梯度下降法可能迭代到B或者C点处就终止。

鞍点

鞍点是指梯度为0，Hessian矩阵既不是正定也不是负定，即不定的点。下面是鞍点的一个例子，假设有函数：$x^2-y^2$,显然在(0, 0)这点处不是极值点，但梯度为0，下面是梯度下降法的运行结果：

在这里，梯度下降法遇到了鞍点，认为已经找到了极值点，从而终止迭代过程，而这根本不是极值点。对于怎么逃离局部极小值点和鞍点，有一些解决方案。

随机梯度下降法（Stochastic Gradient Descent）

随机梯度下降法，其实和批量梯度下降法原理类似，区别在与求梯度时没有用所有的样本的数据，而是仅仅选取一个样本来求梯度。
随机梯度下降法，和批量梯度下降法是两个极端，一个采用所有数据来梯度下降，一个用一个样本来梯度下降。自然各自的优缺点都非常突出。对于训练速度来说，随机梯度下降法由于每次仅仅采用一个样本来迭代，训练速度很快，而批量梯度下降法在样本量很大的时候，训练速度不能让人满意。对于准确度来说，随机梯度下降法用于仅仅用一个样本决定梯度方向，导致解很有可能不是最优。对于收敛速度来说，由于随机梯度下降法一次迭代一个样本，导致迭代方向变化很大，不能很快的收敛到局部最优解。

小批量梯度下降法（Mini-batch Gradient Descent）

对于有些机器学习问题，我们的目标函数是对样本的损失函数。假设训练样本集有N个样本，训练时优化的目标是这个数据集上的平均损失函数：
$$L(w)=\frac{1}{N}\sum _{i=1}^{N}L(w,x_i,y_i)$$
其中$L(w,x_i,y_i)$是对单个训练样本$(x_i,y_i)$的损失函数，w是需要学习的参数。如果训练时每次都用所有样本计算梯度并更新，成本太高，作为改进可以每次迭代时选取一批样本，将损失函数定义在这些样本上。

批量随机梯度下降法在每次迭代中使用上面目标函数的随机逼近值，即只使用M<<N个样本来近似计算损失函数。在每次迭代时要优化的目标函数变为：
$$L(w)\approx \frac{1}{M}\sum _{i=1}^{M}L(w,x_i,y_i)$$
已经证明，随机梯度下降法在数学期望的意义下收敛，即随机采样产生的梯度的期望值是真实的梯度。因为每次迭代时的目标函数实际上是不一样的，因此随机梯度下降法并不能保证每次迭代时函数值一定下降。

变种

梯度下降法有大量的变种，它们都只利用之前迭代时的梯度信息来构造每次的更新值，下面我们分别进行介绍。

迭代公式加上动量项

最直接的改进是为迭代公式加上动量项，动量项累积了之前的权重更新值，加上此项之后的参数更新公式为：
$$X_{t+1}=X_t+V_{t+1}$$
其中$V_{t+1}$是动量项，它取代了之前的梯度项。动量项的计算公式为：
$$V_{t+1}=-\alpha \nabla f(x_1)+\mu V_t$$
动量项累积了之前的梯度信息，类似于保持行走时的惯性，以避免来回震荡，加快收敛速度。

AdaGrad为自适应梯度

AdaGrad为自适应梯度，即adaptive gradient算法[2]，是梯度下降法最直接的改进。唯一不同的是，AdaGrad根据前几轮迭代时的历史梯度值来调整学习率，参数更新公式为：
$$(x_{t+1}{)}_i=(x_t{)}_i-\alpha \frac{(g_i{)}_i}{\sqrt{{\sum }_{j=1}^t((g_j{)}_i{)}^2+ϵ}}$$
其中$\alpha$是学习因子，$g_t$是第t次迭代时的参数梯度向量，$ϵ$是一个很小的正数，为了避免除0操作，下标i表示向量的分量。和标准梯度下降法唯一不同的是多了分母中的这一项，它积累了到本次迭代为止梯度的历史值信息用于用于生成梯度下降的系数值。

为什么分母要进行平方根的原因是去掉平方根操作算法的表现会大打折扣。

Adagrad的一大优势时可以避免手动调节学习率，比如设置初始的缺省学习率为0.01，然后就不管它，另其在学习的过程中自己变化。当然它也有缺点，就是它计算时要在分母上计算梯度平方的和，由于所有的参数平法必为正数，这样就造成在训练的过程中，分母累积的和会越来越大。这样学习到后来的阶段，网络的更新能力会越来越弱，能学到的更多知识的能力也越来越弱，因为学习率会变得极其小，为了解决这样的问题又提出了Adadelta算法。

AdaDelta算法[3]

• 在一个窗口w中对梯度进行求和，而不是对梯度一直累加
• 因为存放 w 之前的梯度是低效的，所以可以用对先前所有梯度均值（使用RMS即均方根值实现）的一个指数衰减作为代替的实现方法。

更新公式如下：
① 将累计梯度信息从全部历史梯度变为当前时间向前的一个窗口期内的累积：
$$E[g^2{]}_t=\rho \ast E[g^2{]}_{t-1}+(1-\rho )\ast g_t^2$$
相当于历史梯度信息的累计乘上一个衰减系数$\rho$,然后用$(1-\rho )$作为当前梯度的平方加权系数相加。

②然后将上述$E[g_t^2]$开放后，作为每次迭代更新后的学习率衰减系数。
$$x_{t+1}=x_t-\frac{\eta }{\sqrt{E[g^2{]}_t+ϵ}}\ast g_t$$
记作：$RMS(g_t)=\sqrt{E[g^2{]}_t+ϵ}$,其中ϵ是为了防止分母为0而加上的一个极小值。
这种更新方法解决了对历史梯度一直累加而导致学习率一直下降的问题，当时还是需要自己选择初始的学习率。

Adam算法[4]全称为adaptive moment estimation

它由梯度项构造了两个向量m和v，它们的初始值为0，更新公式为：
$$\begin{gathered} (m_t{)}_i={\beta }_1(m_{t-1}{)}_i+(1-{\beta }_1)(g_t{)}_i \\ (v_t{)}_i={\beta }_2(m_{t-1}{)}_i+(1-{\beta }_2)(g_t{)}_i^2 \end{gathered}$$
其中${\beta }_1,{\beta }_2$是人工指定的参数，i为向量的分量下标。依靠这两个值构造参数的更新值，参数的更新公式为：
$$(x_{t+1}{)}_i=(x_t{)}_i-\alpha \frac{\sqrt{1-({\beta }_2{)}_i^t}}{1-({\beta }_2{)}_i^t}\frac{(m_t{)}_i}{\sqrt{(v_t{)}_i}+ϵ}$$
在这里，用m代替梯度，用v来构造学习率。

NAG算法是一种凸优化方法，由Nesterov提出。和标准梯度下降法的权重更新公式类似，NAG算法构造一个向量v，初始值为0。v的更新公式为：

梯度下降法和最小二乘法

梯度下降法和最小二乘法相比，梯度下降法需要选择步长，而最小二乘法不需要。梯度下降法是迭代求解，最小二乘法是计算解析解。如果样本量不算很大，且存在解析解，最小二乘法比起梯度下降法要有优势，计算速度很快。但是如果样本量很大，用最小二乘法由于需要求一个超级大的逆矩阵，这时就很难或者很慢才能求解解析解了，使用迭代的梯度下降法比较有优势。

原文地址：https://mp.weixin.qq.com/s/lqwUkimO4irkIZmAnp0bcg

参考文献：

[1] I. Sutskever, J. Martens, G. Dahl, and G. Hinton. On the Importance of Initialization and Momentum in Deep Learning. Proceedings of the 30th International Conference on Machine Learning, 2013.

[2] Duchi, E. Hazan, and Y. Singer. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization. The Journal of Machine Learning Research, 2011.

[3] M. Zeiler. ADADELTA: An Adaptive Learning Rate Method. arXiv preprint, 2012.

[4] D. Kingma, J. Ba. Adam: A Method for Stochastic Optimization. International Conference for Learning Representations, 2015.

[5] T. Tieleman, and G. Hinton. RMSProp: Divide the gradient by a running average of its recent magnitude. COURSERA: Neural Networks for Machine Learning.Technical report, 2012.

[6] Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (8 October 1986). Learning representations by back-propagating errors. Nature. 323 (6088): 533–536.

[7] L. Bottou. Stochastic Gradient Descent Tricks. Neural Networks: Tricks of the Trade. Springer, 2012.

[8] 李航：《统计学习方法（第二版）》，清华大学出版社