共轭梯度法笔记

预备知识

Hesse 矩阵

函数$f(x)$为自变量为为向量的实值函数，其中$x=[x_1,x_2,...,x_n]$，则Hesse矩阵的定义为：
$$H(f)=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]$$

问题

求解线性方程（ 系数矩阵A对称且正定）：
$$Ax=b$$
显然，$x=A^{-1}b$。但是求矩阵的逆计算量太大，所以实际中使用迭代的方式求$x$。

首先构造一个二次函数：
$$\varphi (x)=\frac{1}{2}{x}^{T}Ax-b^{T}x\text{\hspace{1em}(1)}$$
对（1）求导，并令导数为0得：
$$\nabla \varphi (x)=Ax-b=0\text{\hspace{1em}(2)}$$
从（2）可以看出$\varphi (x)$的导数为0，就是线性方程$Ax=b$的解，即求$\varphi (x)$的极小值点。现在问题转为求二次函数的极值问题。

二次函数求极值的方法（迭代方法）

迭代的方法都使用以下的原则：

最新的解 = 当前解 + 步长 * 更新方向

最重要的就是要找到更新方向和步长。

1. 最速下降法（梯度下降法）（一阶优化方法）

梯度下降法选择函数值下降最快的方向，即负梯度方向。则有：
$$x^{(t+1)}=x^{(t)}-{\lambda }^{(t)}\nabla \varphi (x)$$
其中${\lambda }^{(t)}$为步长，可以通过求${\lambda }^{(t)}=argminf(x^{(t)}-{\lambda }^{(t)}\nabla \varphi (x))$，但由于计算代价太大，实际中设置步长为常数。

梯度下降法的收敛速度太慢，甚至可能比直接求矩阵的逆还慢。

2. 牛顿法（二阶优化方法）

给一个初始值$x^{(t)}$，则$\varphi (x)$在$x^{(t)}$处的二阶泰勒展开为：
$$f(x)=\varphi (x^{(t)})+\nabla \varphi (x^{(t)})(x-x^{(t)})+\frac{1}{2}(x-x^{(t)}{)}^T{\nabla }^2\varphi (x^{(t)})(x-x^{(t)})$$
显然$f(x^{(t)})=\varphi (x^{(t)})$，$f(x)$可以作为$\varphi (x)$在$x^{(t)}$的近似，则问题就变为求$f(x)$的极值， 对$f(x)$求导等于0得：
$$\begin{gathered} \frac{df(x)}{dx}=\nabla \varphi (x^{(t)})+{\nabla }^2\varphi (x^{(t)})(x-x^{(t)})=0 \\ x=x^{(t)}-{\nabla }^2\varphi (x^{(t)}{)}^{-1}\nabla \varphi (x^{(t)}) \end{gathered}$$
把求得得极值点$x$作为$x^{(t+1)}$，然后迭代求解。因此牛顿法，在迭代过程中需要求一阶导和二阶导，且$\varphi (x)$的Hesse矩阵可逆。更新公式如下：
$$x^{(t+1)}=x^{(t)}-A^{-1}\nabla \varphi (x^{(t)}$$
但是牛顿法仍需要计算矩阵的逆，因此不适用。

3. 共轭梯度法

如果要使用共轭梯度法求解线性方程，必须要求系数矩阵对称且正定。

共轭的定义：

对于一组向量 { p ( 0 ) , p ( 1 ) , . . . , p ( n − 1 ) } \{p^{(0)},p^{(1)},...,p^{(n-1)}\} {p(0),p(1),...,p(n−1)}，如果任意两个向量间($i\ne j)$满足：
$$(p^{(i)}{)}^{T}A{p}^{(j)}=0\text{\hspace{1em}(3)}$$
则称这组向量与对阵正定矩阵A共轭。

共轭梯度法是介于梯度下降法和牛顿法之间的一种方法。共轭梯度法初始选择负梯度方向进行更新，在后面的迭代中取负梯度方向和前一搜索方向的线性组合作为搜索方向。

对于优化问题（1）的二维情况，如下图：

其中$\overrightarrow{x_0{x}_1}=-\nabla \varphi \left(x_0\right)$、 $\overrightarrow{x_1{x}^{\ast }}=-A^{-1}\nabla \varphi \left(x_1\right)$。于是有：
$$\begin{array}{rl}{\overrightarrow{x_0{x}_1}}^{T}A\overrightarrow{x_1{x}^{\ast }}& =\nabla \varphi \left(x_0\right)A{A}^{-1}\nabla \varphi \left(x_1\right)\\ & =\nabla \varphi \left(x_0\right)\nabla \varphi \left(x_1\right)\\ & =0\end{array}$$
这表明，两次迭代的方向是一组共轭向量。从二维推广到N维，只要找到一组共轭向量 { p ( 0 ) , p ( 1 ) , . . . , p ( n − 1 ) } \{p^{(0)},p^{(1)},...,p^{(n-1)}\} {p(0),p(1),...,p(n−1)}，然后依次沿着每个向量方向优化，最终在N次迭代以后就可以达到极小值。现在的问题是，如何找到一组共轭向量？

假设起始点为$x^{(0)}$。 首先，选$p^{(0)}=-\nabla \varphi (x^{(0)})$，然后求后续的向量$p^{(1)},p^{(2)}...p^{(t)},...,p^{(n-1)}$。

当t=1时， 求$p^{(1)}$，已知$p^{(0)}$和$\nabla \varphi (x^{(1)})$。因为这两个向量一定是线性无关的，所以可以在这两个向量构成的平面上寻找$p^{(1)}$， 则$p^{(1)}=-\nabla \varphi (x^{(1)})+{\beta }_1{p}^{(0)}$。将$p^{(0)},p^{(1)}$带入（3）得：
$${\beta }_1=\frac{(p^{(0)}{)}^{T}A\nabla \varphi \left(x^{(1)}\right)}{(p^{(0)}{)}^{T}A{p}^{(0)}}$$
有了${\beta }_1$，就可以得到$p^{(1)}$。依次类推，则有：
$$p^{(t)}=-\nabla \varphi (x^{(t)})+{\beta }_t{p}^{(t-1)}$$
其中：
$${\beta }_t=\frac{(p^{(t-1)}{)}^{T}A\nabla \varphi \left(x^{(t)}\right)}{(p^{(t-1)}{)}^{T}A{p}^{(t-1)}}$$
现在知道了每一次更新的方向$p^{(t)}$，就可以计算出$\varphi (x^{(t)})$在该方向的最优步长${\alpha }_t$。因为更新$x^{(t)}$的公式为：
$$x^{(t+1)}=x^{(t)}+{\alpha }_t{p}^{(t)}$$
则最优的${\alpha }_t$，可以通过$\varphi (x^{(t+1)})$对${\alpha }_t$求导等于0计算，则有：
$${\alpha }_t=-\frac{\nabla \varphi {\left(x^{(t)}\right)}^T{p}^{(t)}}{(p^{(t)}{)}^{T}A{p}^{(t)}}$$
综上，共轭梯度法的更新流程如下：
$$\begin{gathered} {\alpha }_t\leftarrow -\frac{(r^{(t)}{)}^T{p}^{(t)}}{(p^{(t)}{)}^{T}A{p}^{(t)}} \\ {x}^{(t+1)}\leftarrow x^{(t)}+{\alpha }_t{p}^{(t)} \\ {r}^{(t+1)}\leftarrow A{x}^{(t+1)}-b \\ {\beta }_{t+1}\leftarrow \frac{(p^{(t)}{)}^{T}A{r}^{(t+1)}}{(p^{(t)}{)}^{T}A{p}^{(t)}} \\ {p}^{(t+1)}\leftarrow -r^{(t+1)}+{\beta }_{t+1}{p}^{(t)} \\ k\leftarrow k+1 \end{gathered}$$

其中，$r^{(t)}=\nabla \varphi (x^{(t)})$ ，$r^{(0)}=A{x}^{(0)}-b,p^{(0)}=-r^{(0)}$。

共轭梯度法只需要一阶导数信息，就可以计算步长和更新方向。收敛速度快，占用空间低，适用于求解大规模的线性方程。