梯度下降法和牛顿法的区别

梯度下降法和牛顿法的区别

问题定义

考虑下列最小二乘问题：

找到一个${\mathbf{x}}^{\ast }$使得$F(\mathbf{x})$取得局部最小值，其中$F(\mathbf{x})$定义为：

$F(\mathbf{x})=\frac{1}{2}{\sum }_{i=1}^m(f_i(\mathbf{x}){)}^2(1)$

其中$f_i(\mathbf{x}):R^n⟶R$，$i=1,...,m$为多元函数，$m\ge n$ 。

有两种方式解决上述最小二乘问题，一解析法，二迭代法。本文中点介绍迭代法当中使用的最频繁的两种方法：梯度下降法和牛顿法。迭代法的基本思想就是选定每次的移动方向$\mathbf{h}$和移动步长$a$，然后往该方向上移动$\mathbf{x}=\mathbf{x}+a\mathbf{h}$，每一次移动都必须保证函数值$F(\mathbf{x})$相比于上一次有所下降。循环往复，迭代法最终会收敛到$F(\mathbf{x})$的局部极小值。因此，要利用迭代法求解最小二乘问题，必须要解决两个问题：

1、确定移动方向$\mathbf{h}$；

2、确定移动步长$a$。

下面本文以从泰勒展式为基础推导出梯度下降法和牛顿法。因此，在这里贴一下一元泰勒展式的具体表达式。

设$f(x)$在区间$(a,b)$上$n+1$阶可导，则泰勒展开式为：

$f(x)=f(x_0)+\frac{f^{(1)}(x_0)}{1!}(x-x_0)+\frac{f^{(2)}(x_0)}{2!}(x-x_0{)}^2+....+\frac{f^{(n)}(x_0)}{n!}(x-x_0{)}^n+R_n(x)（2）$

梯度下降法

考虑采用迭代的方式来求解上述最小二乘问题。我们沿着当前位置$\mathbf{x}$移动一小步得到$\mathbf{x}+a\mathbf{h}$,对应的函数值为

$F(\mathbf{x}+a\mathbf{h})$。利用泰勒展式将$F(\mathbf{x}+a\mathbf{h})$在$\mathbf{x}$出展开得：

$F(\mathbf{x}+a\mathbf{h})=F(\mathbf{x})+a{\mathbf{h}}^T{F}^{{}^{\prime }}(\mathbf{x})+O(\Vert \mathbf{h}{\Vert }^2)(3)$

假设$a>0$，如果在每一步得迭代过程中都能保证下式成立，

$a{\mathbf{h}}^T{F}^{{}^{\prime }}(\mathbf{x})<0(4)$

那么我们就能得到：

$F(\mathbf{x}+a\mathbf{h})<F(\mathbf{x})(5)$

因此，我们需要找到一个$\mathbf{h}$使得${\mathbf{h}}^{T}F(\mathbf{x})<0$。现在我们来考察$F(\mathbf{x}+a\mathbf{h})$与$F(\mathbf{x})$得差异：

${\lim }_{a\to 0}\frac{F(\mathbf{x})-F(\mathbf{x}+a\mathbf{h})}{a\Vert \mathbf{h}\Vert }={\lim }_{a\to 0}\frac{-a{\mathbf{h}}^T{F}^{{}^{\prime }}(\mathbf{x})}{a\Vert \mathbf{h}\Vert }=-\Vert F^{{}^{\prime }}(\mathbf{x})\Vert cos(\theta )(6)$

其中$\theta$为$F^{{}^{\prime }}(\mathbf{x})$与$\mathbf{h}$的夹角。由上式可知，只要我们能保证$cos(\theta )$的值小于零，那么我们就能保证式（4）成立。梯度下降算法将$\mathbf{h}$取为与$F^{{}^{\prime }}(\mathbf{x})$夹角$\theta =\pi$时的向量，也就是$F(\mathbf{x})$与$F(\mathbf{x}+a\mathbf{h})$差值最大的方向，即：

${\mathbf{h}}_{\mathbf{s}}=-F^{{}^{\prime }}(\mathbf{x})(7)$

在选定移动方向${\mathbf{h}}_{\mathbf{s}}$后，移动步长$a$可通过线性搜索和信赖域来确定，这里不予讨论。

牛顿法

由$F^{{}^{\prime }}(\mathbf{x})=0$于局部极值的关系可知，当$\mathbf{x}$为极值时，$F^{{}^{\prime }}(\mathbf{x})=0$。与梯度下降法不同，牛顿法的目标是寻找一个移动方向${\mathbf{h}}_{\mathbf{n}}$，在该方向上移动一小步后使得$F^{{}^{\prime }}(\mathbf{x}+\mathbf{h})$离零点更进一步，同时还要需要保证$F(\mathbf{x}+\mathbf{h})<F(\mathbf{x})$。我们将$F^{{}^{\prime }}(\mathbf{x}+\mathbf{h})在$$\mathbf{x}$出进行泰勒展开得：

$F^{{}^{\prime }}(\mathbf{x}+\mathbf{h})=F^{{}^{\prime }}(\mathbf{x})+F^{{}^{\prime \prime }}(\mathbf{x})\mathbf{h}+O(\Vert h\Vert )\approx F^{{}^{\prime }}(\mathbf{x})+F^{{}^{\prime \prime }}(\mathbf{x})\mathbf{h}(8)$

我们令$F^{{}^{\prime }}(\mathbf{x}+\mathbf{h})=0$可得：

$F^{{}^{\prime \prime }}(\mathbf{x})\mathbf{h}=-F^{{}^{\prime }}(\mathbf{x})(9)$

由上式可知，只要我们选择的移动方向满足式（9），则就能保证下一步的迭代是向$F^{{}^{\prime }}(\mathbf{x})$的零点移动。正如上面所讨论了，我们还需要保证$F(\mathbf{x}+\mathbf{h})<F(\mathbf{x})$，才能使得本次迭代结果向我们期望的局部极小值靠拢。将式（9）两边同乘于${\mathbf{h}}^T$得：

${\mathbf{h}}^T{F}^{{}^{\prime \prime }}(\mathbf{x})\mathbf{h}=-{\mathbf{h}}^T{F}^{{}^{\prime }}(\mathbf{x})(10)$

当$F^{{}^{\prime \prime }}(\mathbf{x})$是正定矩阵时，我们有${\mathbf{h}}^T{F}^{{}^{\prime }}(\mathbf{x})<0$，满足式（4）。此时，我们可将移动方向取为：

${\mathbf{h}}_{\mathbf{n}}=-F^{{}^{\prime \prime }}(\mathbf{x}{)}^{-1}{F}^{{}^{\prime }}(\mathbf{x})(11)$

总结

梯度下降算法寻找一个使得函数$F(\mathbf{x})$变化率最大的方向进行迭代，如式（6）所示。而牛顿法则希望找到一个使得$F^{{}^{\prime }}(\mathbf{x}+{\mathbf{h}}_{\mathbf{n}})=0$并满足极小值求解条件的方向进行迭代。二者均能求得$F(\mathbf{x})$的局部极小值。梯度下降法中针对当前迭代结果所选择的移动方向的确是函数变化率最大的方向，因此梯度下降算法也称为最速梯度下降法。然而，该算法的收敛速度却远远慢于牛顿法。