机器学习系列（六）——梯度下降解释及其技巧

在训练机器学习模型寻找最优函数时，梯度下降（Gradient Descent）是最常用的优化（optimization）方法。在给定一组初始参数${\theta }^0$时，梯度下降算法能够顺着损失函数下降最快的方向逐步逼近最低点，也就是最佳参数${\theta }^{\ast }$的位置。 那梯度下降算法为什么work呢？为什么梯度的反方向就是损失函数下降最快的方向呢？

梯度下降算法解释

首先回顾一下梯度下降算法是如何工作的，我们的目标是找到${\theta }^{\ast }$：
$${\theta }^{\ast }=arg\underset{\theta }{\min }L(\theta )$$

其中$L$是损失函数，梯度下降算法步骤如下：

1. 随机选取一组初始参数${\theta }^0$。
2. 计算损失函数在该点的偏导数$\nabla L({\theta }^{n-1})$，也就是梯度。
3. 更新参数${\theta }^n={\theta }^{n-1}-\eta \nabla L({\theta }^{n-1})$。
4. 重复2，3步骤，直至梯度不再下降（小于某个阈值范围）。

上面第3步中可以看到，每次我们顺着梯度的反方向更新$\theta$，其中$\eta$是学习速率，代表了每次更新的步伐大小。在只含有两个未知参数时，梯度下降的直观过程如下图：

下面根据李宏毅课程的思路对梯度下降的原理进行解释。同样假设只包含两个参数${\theta }^1$，${\theta }^2$。随机给定一个初始点，在“目之所及”的范围内寻找损失函数下降最快的方向，如下图

${\theta }^0$是随机给定的初始点，红色圆圈是“目之所及”的范围，现在的关键是如何找到圆圈范围内下降最快的方向，由泰勒展示（Taylor Series）:当函数$h(x)$在$x=x_0$处是可微的，那么$h(x)$可以写成
$$\begin{array}{rl}h(x)=& \sum _{k=0}^{\infty }\frac{h^{(k)}(x_0)}{k!}(x-x_0{)}^k\\ =& h(x_0)+h^{{}^{\prime }}(x_0)(x-x_0)+\frac{h^{{}^{\prime \prime }}(x_0)}{2!}(x-x_0{)}^2+\cdots \end{array}$$

当$x$非常接近$x_0$时，上式中的平方项等更高次项的值将无限接近于0，此时$h(x)$可以约等于
$$h(x)\approx h(x_0)+h^{{}^{\prime }}(x_0)(x-x_0)$$

多变量泰勒展示同样成立，只需对各个变量分别求偏导数
$$h(x,y)\approx h(x_0,y_0)+\frac{\partial h(x_0,y_0)}{\partial x}(x-x_0)+\frac{\partial h(x_0,y_0)}{\partial y}(y-y_0)$$

因此，在任意点$(a,b)$处我们可以将损失函数用泰勒展示展开，并且当红色圆圈足够小时，圆圈内的函数值可以近似为
$$L(\theta )\approx L(a,b)+\frac{\partial L(a,b)}{\partial {\theta }_1}({\theta }_1-a)+\frac{\partial L(a,b)}{\partial {\theta }_2}({\theta }_2-b)$$

其中，$L(a,b)$，$\frac{\partial L(a,b)}{\partial {\theta }_1}$和$\frac{\partial L(a,b)}{\partial {\theta }_2}$都是常数，分别令其等于$s$、$u$和$v$，所以
$$L(\theta )\approx s+u({\theta }_1-a)+v({\theta }_2-b)$$

我们需要在圆圈内找出一组${\theta }_1$,${\theta }_2$使得$L(\theta )$最小，形式化表达如下：
$$\begin{gathered} \underset{\theta }{\min }L(\theta )\approx s+u({\theta }_1-a)+v({\theta }_2-b) \\ s.t.({\theta }_1-a{)}^2+({\theta }_2-b{)}^2\le d^2 \end{gathered}$$

优化目标和约束中都有$({\theta }_1-a)$和$({\theta }_2-b)$，分别用$\Delta {\theta }_1$和$\Delta {\theta }_2$代替
$$\begin{gathered} \underset{\theta }{\min }L(\theta )\approx s+u\Delta {\theta }_1+v\Delta {\theta }_2 \\ s.t.{\Delta {\theta }_1}^2+{\Delta {\theta }_2}^2\le d^2 \end{gathered}$$

观察$u\Delta {\theta }_1+v\Delta {\theta }_2$的形式，可以看作是两个向量$(u,v)$,$({\theta }_1,{\theta }_2)$的内积，要使向量内积最小，只需$({\theta }_1,{\theta }_2)$的方向正好与$(u,v)$的方向相反，同时$({\theta }_1,{\theta }_2)$的长度达到圆的半径，所以
$$\begin{array}{r}\left[\begin{array}{c}\Delta {\theta }_1\\ \Delta {\theta }_2\end{array}\right]=-\eta \left[\begin{array}{c}u\\ v\end{array}\right]⟹\left[\begin{array}{c}{\theta }_1\\ {\theta }_2\end{array}\right]=\left[\begin{array}{c}a\\ b\end{array}\right]-\eta \left[\begin{array}{c}\frac{\partial L(a,b)}{\partial {\theta }_1}\\ \frac{\partial L(a,b)}{\partial {\theta }_2}\end{array}\right]\end{array}$$

经过上面的推导，我们很好的解释了为什么要沿着梯度的反方向更新参数，并且也解释了学习速率$\eta$不能设置过大，否则$L(\theta )\approx s+u\Delta {\theta }_1+v\Delta {\theta }_2$将不再成立。

梯度下降的一些技巧

1、学习速率（learning rate）

学习速率是最需要调整的一个超参数，太小会使得训练速度过慢；太大会使得训练无法收敛，因此需要很小心的调节学习速率$\eta$。

我们可以绘出损失函数的曲线图，如上图左边所示，红色的学习速率最合适，蓝色的太小，绿色的偏大，黄色则非常大。但是当参数数目很多时将无法可视化损失函数曲线，这时我们可以绘制出随迭代次数增加损失值变化曲线，如上图右边所示。如果损失下降很慢（蓝色），可能学习速率过低；如果损失开始下降很快，但很快稳定在一个较大的值（绿色），可能学习速率偏大了；如果损失不降返升（黄色），学习速率可能过大了；只有损失以恰当的速度降到很小（红色），才是最佳学习速率。

2、Adagrad

大家都有一个直观的想法：在初始距离最低点很远时，给予较大的学习速率，使得损失迅速下降；快要接近最低点时，给与较小的学习速率，确保能够到达最低点。也就是说，随着迭代次数的增加，学习速率逐渐减小
$${\eta }^t=\frac{\eta }{\sqrt{t+1}}$$

每次迭代时，对所有参数都给予同样大小的参数，可能仍然不够精细，最好是学习速率能够因参数而异，Adagrad是最常用的方法，每个参数的学习速率都除上该参数之前所有微分的均方根。
$$w^{t+1}\leftarrow w^t-\frac{{\eta }^t}{{\sigma }^t}{g}^t$$

$g^t=\frac{\partial L({\theta }^t)}{\partial w}$是${\theta }^t$处的梯度值，${\sigma }^t$是之前所有微分的均方根。例如：
$$\begin{array}{rl}{\sigma }^0& =\sqrt{(g^0{)}^2}\\ {\sigma }^1& =\sqrt{\frac{1}{2}[(g^0{)}^2+(g^1{)}^2]}\\ {\sigma }^2& =\sqrt{\frac{1}{3}[(g^0{)}^2+(g^1{)}^2+(g^2{)}^2]}\\ ⋮& \\ {\sigma }^t& =\sqrt{\frac{1}{t+1}\sum _{i=0}^t(g^i{)}^2}\end{array}$$

同时，${\eta }^t=\frac{\eta }{\sqrt{t+1}}$，上式可以化简为
$$w^{t+1}\leftarrow w^t-\frac{\eta }{\sqrt{{\sum }_{i=0}^t(g^i{)}^2}}{g}^t$$

下面尝试对Adagrad做一个解释，首先需要考虑的是：梯度越大，距离最低点越远，步伐越大？还是以两参数为例：

如果分别考虑每一维变量，确实是梯度越大，距离最低点越远，但是对比$a$点和$c$点，$c$点的梯度大于$a$点的梯度，但是$c$点距离最低点更近，这说明梯度越大，距离最低点越远并不总是成立。所以在更新参数时，并不是梯度越大，步伐就可以调的越大。
考虑二次函数$y=a{x}^2+bx+c$，点$x_0$距最低点的距离是$|x_0+\frac{b}{2a}|$，也就是$\frac{|2a{x}_0+b|}{2a}$，所以最佳步伐应该是$\frac{|2a{x}_0+b|}{2a}$，分子是一阶微分的绝对值，与梯度对应，分母是二阶微分，这表明在选择最佳步伐时，我们还要考虑二阶微分。

The best step is $\frac{一阶微分}{二阶微分}$

但是计算二阶微分意味着增加一倍的计算量，这在参数很多时是不划算的，因此Adagrad采用所有一阶微分的均方根作为等价替代。

3、随机梯度下降（Stochastic Gradient Descent）or 小批量梯度下降（Mini-Batch Gradient Descent）

常规的梯度下降也就是批量梯度下降，是在整个数据集上求偏导，在该方法中，每次更新我们需要计算整个数据集中每个样本点的误差，因此速度会比较慢，对于很大的数据集，内存可能无法容纳以至无法使用，因此在实际中一般使用随机梯度下降（Stochastic Gradient Descent）或者小批量梯度下降（Mini-Batch Gradient Descent）。随机梯度下降（Stochastic Gradient Descent）的每次更新，是对数据集中的每个样本点计算损失函数，这样对于m个样本的数据集，批量梯度下降更新一次，SGD可以更新m次，虽然每次只考虑一个样本点，可能存在较大的波动，但最终都会收敛。小批量梯度下降（Mini-Batch Gradient Descent）是批量梯度下降和随机梯度下降的折中，每次更新，对数据集中部分数据计算损失函数。

4、特征缩放（Feature Scaling）

特征缩放是指将每个特征的取值限定在相同的范围

为什么要将每个特征的取值限定在相同范围呢？看下面的例子：

图中左边$x_1$的取值范围是$x_2$的百分之一，当$w_2$稍有变化，$y$值将变化很大，因此损失函数也将变化很大，也就是说损失函数在$w_2$方向下降很快，导致损失函数等高线呈扁平的椭圆形，这种情况下不用Adagrad将比较难处理，两个方向上需要不同的学习率。但经过特征缩放后，所有特征的取值范围都是统一的，损失函数等高线呈规整的圆形，梯度下降效率将比较高。

参考文献

李宏毅主页