无约束最优化(二) 共轭方向法与共轭梯度法

最优化方法与理论系统学习笔记

本系列所有文章来自东北大学张京老师的最优化方法与理论课程学习笔记，系列如下：
线性规划 (一) 线性规划的基本形式及各种概念
线性规划 (二) 单纯形法
无约束最优化(一) 最速下降法、Newton法、修正Newton法
无约束最优化(二) 共轭方向法与共轭梯度法
无约束最优化(三) 拟Newton法
无约束最优化(四) 步长加速法
无约束最优化(五) 最小二乘法问题的解法
约束最优化方法 (一) 最优性条件
约束最优化方法 (二) Zoutendijk容许方向法
约束最优化方法 (三) 外部罚函数法
约束最优化方法 (四) 乘子法

基本思想

  之前文章最速下降法、Newton法、修正Newton法介绍的最速下降法存在锯齿现象，Newton法需要计算目标函数的二阶导数。接下来介绍的共轭方向法是介于最速下降法和Newton法之间的一种方法，它克服了最速下降法的锯齿现象，从而提高了收敛速度；它的迭代公式也比较简单，不必计算目标函数的二阶导数，与Newton法相比，减少了计算量和存储量。它是比较实用而有效的最优化方法。

  我们先将其在正定二次函数$f(x)=\frac{1}{2}{x}^{T}Qx+b^{T}x+c$上研究，然后再把算法用到更一般的目标函数上。首先考虑二维的情形。

  任选初始点$x_0$，沿它的某个下降方向，例如向量$p_0$的方向，作直线搜索，如上图所示。由下面这个定理：

定理：设目标函数$f(x)$具有一阶连续偏导数，若$z=ls(x,p)$,则$\nabla f(z{)}^{T}p=0$。

  知$\nabla f(x_1{)}^T{p}_0=0$。如果按照最速下降法选择的就是负梯度方向为搜索方向(也就是$-g_1$方向)，那么将要发生锯齿现象。于是一个设想是，干脆选择下一个迭代的搜索方向$p_1$就从$x_1$直指极小点$x^{\ast }$，也就是找到上图所示的$p_1$方向。

  因为$p_1$从$x_1$直指极小点$x^{\ast }$,所以$x^{\ast }$可以表示为：
$$x^{\ast }=x_1+t_1{p}_1$$
  其中$t_1$是最优步长因子。显然，当$x^{\ast }\ne x_1$时，$t_1\ne 0$。到这里，我们还有一个已知条件没用，就是目标函数为二次正定，所以我们对目标函数求导，得到：
$$\nabla f(x)=Qx+b$$
  因为$x^{\ast }$是极小点，所以有:
$$\nabla f(x^{\ast })=Q{x}^{\ast }+b=0$$
  将$x^{\ast }=x_1+t_1{p}_1$带入上述方程式，有：
$$\nabla f(x_1)+t_{1}Q{p}_1=0$$
  上式两边同时左乘$p_0^T$，并注意到$p_0^T\nabla f(x_1)=0$和$t\ne 0$，得到$p_0^{T}Q{p}_1=0$。这就是为使$p_1$直指极小点$x^{\ast }$，$p_1$所必须满足的条件。并且我们将两个向量$p_0$和$p_1$称为$Q$共轭向量或称$p_0$和$p_1$是$Q$共轭方向。

  由上面共轭梯度法那张图可以设：
$$p_1=-\nabla f(x_1)+{\alpha }_0{p}_0$$
  上式两边同时左乘$p_0^{T}Q$,得：
$$-p_0^{T}Q\nabla f\left(x_1\right)+{\alpha }_0{p}_0^{T}Q{p}_0=0$$
  由此解出：
$${\alpha }_0=\frac{p_0^{T}Q\nabla f\left(x_1\right)}{p_0^{T}Q{p}_0}$$
  代回$p_1=-\nabla f(x_1)+{\alpha }_0{p}_0$得：
$$p_1=-\nabla f(x_1)+\frac{p_0^{T}Q\nabla f\left(x_1\right)}{p_0^{T}Q{p}_0}{p}_0$$
  从而求到了$p_1$的方向。

  归纳一下，对于正定二元二次函数，从任意初始点$x_0$出发，沿任意下降方向$p_0$做直线搜索得到$x_1$再从$x_1$出发，沿$p_0$的共轭方向$p_1$作直线搜索，所得到的$x_2$必是极小点$x^{\ast }$。到目前为止的共轭梯度法依旧是假设了目标函数是二次正定矩阵。

  上面的结果可以推广到$n$维空间中，即在$n$维空间中，可以找出$n$个互相共轭的方向，对于$n$元正定二次函数从任意初始点出发，顺次沿着这$n$个共轭方向最多作$n$次直线搜索，就可以求到目标函数的极小点。

  对于$n$元正定二次目标函数，如果从任意初始点出发经过有限次迭代就能够求到极小点，那么称这种算法具有二次终止性。例如，Newton法对于二次函数只须经过一次迭代就可以求到极小点，因此是二次终止的；而最速下降法就不具有二次终止性。共轭方向法（如共轭梯度法、拟Newton法等）也是二次终止的。

  一般说来，具有二次终止性的算法，在用于一般函数时，收敛速度是较快的。

共轭向量及其性质

  定义：设$Q$是$n\times n$对称正定矩阵。若$n$维向量空间中的非零向量$p_0,p_1,\cdot \cdot \cdot ，p_{m-1}$满足$p_i^{T}Q{p}_j=0$，$i,j=0,1,\cdot \cdot \cdot ，m-1(i\ne j)$则称$p_0,p_1，\cdot \cdot \cdot ，p_{m-1}$是$Q$共轭向量或称向量$p_0,p_1,\cdot \cdot \cdot ，p_{m-1}$是$Q$共轭的（简称共轭）。

  当$Q=E$(单位矩阵)时$p_i^{T}Q{p}_j=0$变为$p_i^T{p}_j=0$，$i,j=0,1,\cdot \cdot \cdot ，m-1(i\ne j)$。即向量$i,j=0,1,\cdot \cdot \cdot ，m-1(i\ne j)$互相正交。由此看到，“正交”是“共轭”的一种特殊情形，或说，“共轭”是“正交”的推广。

  下面介绍几个定理：

定理：若非零向量$p_0,p_1，\cdot \cdot \cdot ，p_{m-1}$是$Q$共轭的，则线性无关。

推论：在$n$维向量空间中，$R^n$非零的共轭向量的个数不超过$n$。

  定义 设$p_0,p_1，\cdot \cdot \cdot ，p_{m-1}$是$R$中的线性无关向量，$x_0\in R$。那么形式为：
$$z=x_0+\sum _{i=0}^{m-1}{\alpha }_i{p}_i,\forall {\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_{m-1}\in R$$
  的向量构成的集合，记为$L\left[x_0;p_0,p_1,\cdot \cdot \cdot ，p_{m-1}\right]$。称为由点$x_0$和向量$p_0,p_1，\cdot \cdot \cdot ，p_{m-1}$所生成的线性流形。

共轭方向法

  共轭方向法的理论基础是下面的定理。

定理 假设

(1) Q为$n\times n$对称正定矩阵;

(2) 非零向量$p_0,p_1，\cdot \cdot \cdot ，p_{m-1}$是$Q$共轭向量;

(3) 对二次目标函数$f(x)=\frac{1}{2}{x}^{T}Qx+b^{T}x+c$顺次进行$m$次直线搜索:
$$x_{i_1}=ls(x_i,p_i),i=0,1，\cdot \cdot \cdot ，m-1$$
其中$x_0\in R$是任意选定的初始点，则有：

i) $p_j^T\nabla f(x_m)=0$，$0⩽j⩽m$;

ii) $x_m$是二次函数$f(x)=\frac{1}{2}{x}^{T}Qx+b^{T}x+c$在线性流形$L\left[x_0;p_0,p_1,\cdot \cdot \cdot ，p_{m-1}\right]$上的极小点。

  这个定理看来较繁，但可借用直观的几何图形来帮助理解。$n=3$，$m=2$的情形为例，如图示。

  $p_0$和$p_1$是Q共轭向量，张成了二维空间$R^2$，这是过坐标原点的一个平面。 现在，过点$x_0$沿$p_0$方向作直线搜索得到$x_1$，再过点$x_1$沿$p_1$方向作直线搜索得到$x_2$过点$x_0$由向量$p_0$和$p_1$张成的平面就是线性流形$L\left[x_0;p_0,p_1\right]$。它是$R^2$的平行平面。

  定理的论断是，最后一个迭代点$x_2$处的梯度$\nabla f(x_2)$必与$p_0$和$p_1$垂直。并且$x_2$是三元二次目标函数$f(x)$在线性流形$L\left[x_0;p_0,p_1\right]$(即过$x_0$由$p_0$和$p_1$张成的平面)上的极小点。

  共轭方向法算法的大体流程就是：选定初始点$x_0$和下降方向向量$p_0$，做直线搜索$x_{k+1}=ls(x_k,p_k)$。提供的梯度方向$p_{k+1}$使得$p_j^{T}Q{p}_{k+1}=0$，$j=0,1,\cdot \cdot \cdot ，k$。提供共轭方向的方法有多种。不同的提供方法将对应不同的共轭方法。每种方法也因产生共轭方向的特点而得名。

  那么这里做直线搜索$x_{k+1}=x_k+t{p}_k$中的$t$是如何确定的呢？这里我们先回顾一下在最速下降法中是如何计算这个$t$的。最速下降法：

  依据定理 设目标函数$f(x)$具有一阶连续偏导数，若$z=ls(x,p)$,则$\nabla f(z{)}^{T}p=0$。，我们可以得到$g_{k+1}\cdot g_k=0$。由此有：
$$\begin{array}{rl}{g}_{k+1}\cdot g_k& =[Q(x_k-t_k{g}_k)+b{]}^{T}g(k)=0\\ & =[Q{x}_k+b-t_{k}Q{g}_k{]}^{T}g(k)=0\\ & =[g_k-t_{k}Q{g}_k{]}^{T}g(k)=0\end{array}$$
  由此，可求解出$t_k$:
$$t_k=\frac{g_k^T{g}_k}{g_k^{T}Q{g}_k}$$
  这里还可以采用另外一种种方式计算$t_k$，下面对另外一种方式进行公式推导：

  由$x_{k+1}=x_k+t{p}_k$，用$Q$左乘上式两边，然后再同时加上$b$，利用$\nabla f(x)=Qx+b$能够得到：
$$\nabla f(x_{k+1})=\nabla f(x_k)+tQ{p}_k$$
  左乘$p_k$有
$$p_k^T\nabla f(x_k+t{p}_k)=p_k^T\nabla f(x_k)+t{p}_k^{T}Q{p}_k=0$$
  由此解出：
$$t=-\frac{p_k^T\nabla f(x_k)}{p_k^{T}Q{p}_k}$$
  在最速下降法中$x_{k+1}=x_k-t_k{g}_k$，在共轭方向法中$x_{k+1}=x_k+t_k{g}_k$。

共轭梯度法

  在共轭方向法中，如果初始共轭向量$p_0$恰好取为初始点$x_0$处的负梯度$-g_0$，而其余共轭向量$p_k$$(k=1,2,\cdot \cdot \cdot ，n-1)$由第$k$个迭代点$x_k$处的负梯度$-g_k$与已经得到的共轭向量$p_{k-1}$的线性组合来确定，那么这个共轭方向法就称为共轭梯度法。

  针对目标函数是正定二次函数来讨论：

(1) 第一个迭代点的获得：

  选定初始点$x_0$，设$x_0\ne x^{\ast }$(否则迭代终止)，因此$\nabla f(x_0)\ne 0$。（以下用$g_k$表示$\nabla f(x_k)$）从$x_0$出发沿$p_0$方向做直线搜索，得到第1个迭代点$x_1=x_0+t_0{p}_0$，其中$t_0$可由下式确定：
$$t_0=-\frac{p_0^T{g}_0}{p_0^{T}Q{p}_0}=\frac{g_0^T{g}_0}{p_0^{T}Q{p}_0}$$
  显然$t_0\ne 0$

(2) 第二个迭代点的获得：

  设$x_1\ne x^{\ast }$，因此$g_1\ne 0$。由$p_0^T{g}_1=0$知$p_0$与$g_1$线性无关。取$p_1=-g_1+{\alpha }_0{p}_0$其中${\alpha }_0$是使$p_1$与$p_0$共轭的待定系数，令：
$$p_1^{T}Q{p}_0=-g_1^{T}Q{p}_0+{\alpha }_0{p}_0^{T}Q{p}_0=0$$
  由此解出
$${\alpha }_0=\frac{g_1^{T}Q{p}_0}{p_0^{T}Q{p}_0}$$
  并代回确定$p_1$，并获得第2个迭代点。
$$x_2=x_1+t_1{p}_1$$
  由公式$t=-\frac{p_k^T\nabla f(x_k)}{p_k^{T}Q{p}_k}$可以求得$t_1$，带入公式$p_1=-g_1+{\alpha }_0{p}_0$可进一步优化得到：
$$t_1=-\frac{p_1^T{g}_1}{p_1^{T}Q{p}_1}=\frac{g_1^T{g}_1}{p_1^{T}Q{p}_1}\ne 0$$
(3) 第三个迭代点的获得：

  设$x_2\ne x^{\ast }$，因此$g_2\ne 0$。由$p_1^T{g}_2=0$知$p_1$与$g_2$线性无关。取$p_2=-g_2+{\alpha }_1{p}_1$其中${\alpha }_1$是使$p_2$与$p_1$共轭的待定系数，令：
$$p_2^{T}Q{p}_1=-g_2^{T}Q{p}_1+{\alpha }_1{p}_1^{T}Q{p}_1=0$$
  由此解出
$${\alpha }_1=\frac{g_2^{T}Q{p}_1}{p_1^{T}Q{p}_1}$$
  并代回确定$p_2$ ，并获得第3个迭代点。
$$x_3=x_2+t_2{p}_2$$
  其中
$$t_2=-\frac{p_2^T{g}_2}{p_2^{T}Q{p}_2}=\frac{g_2^T{g}_2}{p_2^{T}Q{p}_2}\ne 0$$
  上述过程仅表明$p_0$与$p_1$，$p_1$与$p_2$共轭，现在问，$p_0$与$p_2$也共轭吗？
$$\begin{array}{rl}{p}_2^{T}Q{p}_0& ={\left(-g_2+{\alpha }_1{p}_1\right)}^{T}Q{p}_0\\ & =-g_2^{T}Q{p}_0+{\alpha }_1{p}_1^{T}Q{p}_0\\ & =-g_2^{T}Q{p}_0\left[\mathbb{L}|p_1^{T}Q{p}_0=0\right]\\ & =-g_2^T\left(g_1-g_0\right)/t_0\left({\mathrm{Hg}}_{1+1}=g_i+t_{i}Q{p}_i,t_i\ne 0\right)\\ & =-\left(g_2^T{g}_1-g_2^T{g}_0\right)/t_0\end{array}$$
(4) 第$k$个迭代点的获得：

  由$p_{k-1}^T{g}_k=0$知$p_{k-1}$与$g_k$线性无关。取$p_k=-g_k+{\alpha }_{k-1}{p}_{k-1}$其中${\alpha }_{k-1}$是使$p_k$与$p_{k-1}$共轭的待定系数，令：
$$p_k^{T}Q{p}_{k-1}=-g_k^{T}Q{p}_{k-1}+{\alpha }_{k-1}{p}_{k-1}^{T}Q{p}_{k-1}=0$$
  由此解出
$${\alpha }_{k-1}=\frac{g_k^{T}Q{p}_{k-1}}{p_{k-1}^{T}Q{p}_{k-1}}$$
  并代回确定$p_k$ ，并获得第k+1个迭代点。
$$x_{k+1}=x_k+t_k{p}_k$$
  其中
$$t_k=-\frac{p_k^T{g}_k}{p_k^{T}Q{p}_k}=\frac{g_k^T{g}_k}{p_k^{T}Q{p}_k}\ne 0$$
  以上就是共轭梯度法得核心内容。

Fletcher-Reeves共轭梯度法

  为使共轭梯度算法也适用于非二次函数，需要消去算法中的$Q$对于正定二次函数，有$Q{p}_k=\frac{1}{t_k}(g_{k+1}-g_k)$代入到${\alpha }_k$中，得：
$${\alpha }_k=\frac{g_{k+1}^{T}Q{p}_k}{p_k^{T}Q{p}_k}=\frac{g_{k+1}^T\left(g_{k+1}-g_k\right)}{p_k^T\left(g_{k+1}-g_k\right)}$$
  此式中已不再出现矩阵$Q$，将$p_k=-g_k+{\alpha }_{k-1}{p}_{k-1}$两端转置运算，并同时右乘$g_{k+1}$得：
$$p_k^T{g}_{k+1}=-g_k^T{g}_{k+1}+{\alpha }_{k-1}{p}_{k-1}^T{g}_{k+1}$$
  将共轭方向法中的定理带入得到$p_{k-1}^T{g}_{k+1}=0$，由直线搜索的性质有$p_k^T{g}_{k+1}=0$，带入上式有$g_{k+1}^T{g}_k=0$。此外：
$$p_k^T{g}_k=-g_k^T{g}_k+{\alpha }_{k-1}{p}_{k-1}^T{g}_k=-g_k^T{g}_k$$
  带入${\alpha }_k$，得到：
$${\alpha }_k=\frac{g_{k+1}^T{g}_{k+1}}{g_k^T{g}_k}=\frac{{\Vert g_{k+1}\Vert }^2}{{\Vert g_k\Vert }^2}$$
  此式称为Fletcher－Reeves公式(1964年)。

我的微信公众号名称：小小何先生
公众号介绍：主要研究分享深度学习、机器博弈、强化学习等相关内容！期待您的关注，欢迎一起学习交流进步！