梯度下降法和牛顿下降法

泰勒公式可以表示为：
$$f(\mathbf{x}+\mathbf{\delta })=f(\mathbf{x})+{\mathbf{g}}^{\mathrm{T}}\mathbf{\delta }+\frac{1}{2}{\mathbf{\delta }}^{\mathrm{T}}\mathbf{h}\mathbf{\delta }+O({\mathbf{\delta }}^3)\text{\hspace{1em}(1)}$$
在(2)中
$$\begin{gathered} \mathbf{x}=[x_1,...,x_n{]}^{\mathrm{T}} \\ \mathbf{\delta }=[{\delta }_1,...,{\delta }_n{]}^{\mathrm{T}} \\ \mathbf{g}=[\frac{\partial f}{\partial x_1},...,\frac{\partial f}{\partial x_n}{]}^{\mathrm{T}} \\ \mathbf{h}=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right] \end{gathered}$$

在上面的表达式中$\mathbf{x}$表示函数自变量，$\mathbf{\delta }$中每个元素分别对应自变量的扰动，$\mathbf{g}$表示梯度矩阵，$\mathbf{h}$表示海参矩阵，它是一个实对称矩阵。以下推导梯度下降法和牛顿下降法。

---

(1)梯度下降法

当每个自变量的扰动量足够小时，可以忽略二阶及二阶以上的泰勒展开项，此时(2)可以表示为：
$$f(\mathbf{x}+\mathbf{\delta })\approx f(\mathbf{x})+{\mathbf{g}}^{\mathrm{T}}\mathbf{\delta }\text{\hspace{1em}(2)}$$
我们希望每次运动后的函数值都小于运动前的函数值，即$f(\mathbf{x}+\mathbf{\delta })<f(\mathbf{x})$，所以显然此时需要满足${\mathbf{g}}^{\mathrm{T}}\mathbf{\delta }=||\mathbf{g}||||\mathbf{\delta }||\cos (<\mathbf{g},\mathbf{\delta }>)<0$，需要注意的函数在已知点处的梯度是确定的，也就是说在某点上$\mathbf{g}$是一个常向量，所以${\mathbf{g}}^{\mathrm{T}}\mathbf{\delta }$中能改变的只有$\mathbf{\delta }$，显然，当$\cos (<\mathbf{g},\mathbf{\delta }>)<0$，即向量$\mathbf{g}$和$\mathbf{\delta }$之间的夹角为钝角时，该扰动量能够使函数值下降，且当$\cos (<\mathbf{g},\mathbf{\delta }>)=-1$，即该扰动向量的方向和该点处的梯度向量反向时，函数值下降最快。梯度下降法就是在每个点上均朝着该点梯度反方向运动，经过不断迭代使函数值取得最小值的方法。
函数$f(\mathbf{x})$是一个超曲面(如图1所示)，令$f(\mathbf{x})=C$，其中$C$为常数，即用一个超平面去切$f(\mathbf{x})$对应的超曲面，则当$C$取不同值时，可以得到如图1所示的等值线图，函数$f(\mathbf{x})$上某一点的梯度方向与该点切线方向垂直，且指向等值线增大的方向，因此，梯度下降法的运动路线即如图1所示，始终沿着函数梯度反方向运动。

图1 梯度下降示意图

梯度下降法的具体操作步骤如下：
a) 设第$k$次迭代的对应的点为$({\mathbf{x}}_k,f({\mathbf{x}}_k))$，计算该点的梯度向量${\mathbf{g}}_k$;
b) 根据梯度下降法可得迭代公式${\mathbf{x}}_{k+1}={\mathbf{x}}_k-\alpha {\mathbf{g}}_k$，其中$\alpha$表示学习率；
c) 不断重复上面的迭代过程，直到满足一定的停止准则。
以一个例子进行说明，设函数$f(\mathbf{x})=f(x_1,x_2)=x_1^2+x_2^2$，显然(0,0)即为该函数的最小值点，梯度向量为$\mathbf{g}=[2x_1,2x_2{]}^{\mathrm{T}}$，设初始时刻${\mathbf{x}}_0=(1,3)$，学习率$\alpha =0.1$，则迭代过程如下：
$$\begin{gathered} {\mathbf{x}}_0=(1,3) \\ {\mathbf{x}}_1={\mathbf{x}}_0-\alpha {\mathbf{g}}_0=(1,3)-0.1(2,6)=(0.8,2.4) \\ {\mathbf{x}}_2={\mathbf{x}}_1-\alpha {\mathbf{g}}_1=(0.8,2.4)-0.1(1.6,4.8)=(0.64,1.92) \\ {\mathbf{x}}_3=(0.512,1.536) \\ ⋮ \\ {\mathbf{x}}_{10}\approx (0.107374,0.322122) \\ ⋮ \\ {\mathbf{x}}_{100}\approx (1.6296e^{-10},4.8888e^{-10}) \end{gathered}$$
显然，经过多次迭代后，已逐渐靠近最优点。

---

(2)牛顿下降法

梯度下降法只利用到泰勒展开式的一次项，将泰勒展开至二次项可得到：
$$f(\mathbf{x}+\mathbf{\delta })\approx f(\mathbf{x})+{\mathbf{g}}^{\mathrm{T}}\mathbf{\delta }+\frac{1}{2}{\mathbf{\delta }}^{\mathrm{T}}\mathbf{h}\mathbf{\delta }\text{\hspace{1em}(3)}$$
可以看出，此时在很小的一个区域内函数$f(\mathbf{x}+\mathbf{\delta })$可以看成一个关于$\mathbf{\delta }$的二阶曲面，并可通过对$\mathbf{\delta }$求导得到该二阶曲面的最小值，将(3)对$\mathbf{\delta }$求导可得
$$\frac{\partial f(\mathbf{x}+\mathbf{\delta })}{\partial \mathbf{\delta }}=\mathbf{g}+\mathbf{h}\mathbf{\delta }=0\to \mathbf{\delta }=-{\mathbf{h}}^{-1}\mathbf{g}\text{\hspace{1em}(4)}$$

(4)中得到的$\mathbf{\delta }$即为牛顿下降法对应的运动向量。牛顿下降法属于二阶收敛，因此收敛速度很快，但是它每次迭代都要计算海森矩阵的逆矩阵，计算量比较大。此外，牛顿下降法还存在一些问题，以下进行分析：
从第(1)节中梯度下降法的分析我们知道，一个运动向量，如果满足${\mathbf{g}}^{\mathrm{T}}\mathbf{\delta }<0$，即该向量与梯度向量的夹角为钝角时，那么该运动方向就是有效的运动方向。所以对于(4)中$\mathbf{\delta }$，当${\mathbf{g}}^{\mathrm{T}}\mathbf{\delta }=-{\mathbf{g}}^{\mathrm{T}}({\mathbf{h}}^{-1}\mathbf{g})<0\to {\mathbf{g}}^{\mathrm{T}}{\mathbf{h}}^{-1}\mathbf{g}>0$时，才能保证牛顿下降法给出的方向是有效的方向，即必须要保证${\mathbf{h}}^{-1}\succ 0$，由于$\mathbf{h}$为实对称矩阵，即$\mathbf{h}={\mathbf{h}}^{\mathrm{T}}$，所以${\mathbf{h}}^{-1}=({\mathbf{h}}^{\mathrm{T}}{)}^{(-1)}=({\mathbf{h}}^{-1}{)}^{\mathrm{T}}$，所以${\mathbf{h}}^{-1}$也是实对称矩阵，所以它可以进行正交对角化且其特征值全为实数,${\mathbf{h}}^{-1}=\mathbf{U}\mathbf{\Sigma }{\mathbf{U}}^{\mathrm{T}}$，其中$\mathbf{\Sigma }=\mathrm{diag}({\lambda }_1,...,{\lambda }_n)$，当$\min ({\lambda }_1,...,{\lambda }_n)>0$时，矩阵${\mathbf{h}}^{-1}$满足正定性要求，此时牛顿下降法给出的方向是有效的方向。
当海森矩阵的逆矩阵不满足正定性要求时，可对牛顿下降方向进行适当修正，具体做法如下：
设$\min ({\lambda }_1,...,{\lambda }_n)={\lambda }_n<0$，则可以令$\hat{\mathbf{h}}={\mathbf{h}}^{-1}+\sigma \mathbf{I}=\mathbf{U}\mathbf{\Sigma }{\mathbf{U}}^{\mathrm{T}}+\sigma \mathbf{U}\mathbf{I}{\mathbf{U}}^{\mathrm{T}}=\mathbf{U}(\mathbf{\Sigma }+\sigma \mathbf{I}){\mathbf{U}}^{\mathrm{T}}=\mathbf{U}\hat{\mathbf{\Sigma }}{\mathbf{U}}^{\mathrm{T}}$，其中$\sigma =|{\lambda }_n|+ϵ$，$ϵ$表示很小的正数，$\hat{\mathbf{\Sigma }}=\mathrm{diag}({\lambda }_1+\sigma ,...,{\lambda }_n+\sigma )$，则牛顿下降方向可以修正为$\mathbf{\delta }=-{\hat{\mathbf{h}}}^{-1}\mathbf{g}$。

---

牛顿下降法是二阶收敛，梯度下降是一阶收敛，所以牛顿法的收敛速度更快。形象一点说明就是，如果想找一条最短的路径到盆地的最底部，梯度下降法每次都朝当前位置处坡度最大的方向走，而牛顿法不仅会考虑当前坡度大不大，还会考虑下一步之后，坡度是否会变得更大，因此牛顿法比梯度下降法看得更远，能更快走到最底部。从几何的观点看，牛顿法是用一个二次曲面去拟合当前所在位置的局部曲面，而梯度下降法适用一个平面去拟合当前的局部曲面，通常情况下，二次曲面的拟合效果会比平面更好，因此牛顿法能够选择出更符合真实情况的最优下降路径。