数值优化（Numerical Optimization）学习系列-共轭梯度方法（Conjugate Gradient）

概述

共轭梯度算法在最优化问题中备受关注，有两层用途，一是可以求解线性方程$Ax = b$；二是可以求解最优化问题。相对于最速下降法，它没有额外的矩阵存储并且比更快，一般N步内收敛。实际收敛效率依赖于系数矩阵特征值的分布。

主要介绍一下内容：
1. 线性共轭梯度算法
2. 共轭方向算法
3. 共轭梯度算法
4. 收敛性
5. 非线性共轭梯度算法

线性共轭梯度算法

共轭梯度算法是一个求解线性方程的迭代方法

问题形式

CG算法求解问题的两种形式：
1. 线性方程$Ax=b$并且要求A是对称正定矩阵。
2. 最优化问题：

$$min \phi(x) = \frac12 x^TAx-b^Tx$$ ，要求A对称正定，这样该问题是一个凸问题并且有最优解，根据最优解满足 $\nabla \phi(x)=Ax-b=0，一般即为r(x)$。在迭代过程中第K步的残差为 $r_k = Ax_k-b$

共轭性

给定一个非零向量集合 { ${p_0, p_1,p_2...p_{n-1}}$}和一个对称正定矩阵A；如果向量集合相对于A是共轭的当且仅当 $p_i^TAp_j=0, \ i \ne j$

如果向量集合是共轭的，则他们之间是相互线性独立。

证明：反证法。如果不是线性独立，则有 $p_i=\lambda p_j$ ，则$p_i^TAp_j=\lambda p_j^TAp_j \ne 0$，不满足共轭条件。

共轭方向算法

共轭方向算法（Conjugate Direction Method）不同于共轭梯度方法，共轭向量提前给出。

算法描述

1. 给定共轭方向集合{ ${p_0, p_1,p_2...p_{n-1}}$}和任意初始点$x_0$
2. 计算$x_{k+1}=x_k + \alpha_kp_k$
3. 计算最优步长$\alpha$，即优化$\phi(x_k+\alpha p_k)$，通过求解单变量最优化问题，可以容易得到最优步长 $$\alpha_k=-\frac {r_k^Tp_k}{p_k^TAp_k}$$

关于$\alpha_k$的计算

$$\begin{align} \alpha_k &=arg \ min(\phi(x_k+\alpha p_k)) \\ &= arg min \frac12 (x_k+\alpha p_k)^TA(x_k+\alpha p_k)-b^T(x_k+\alpha p_k) \\ & \nabla \phi(\alpha)=0 \to \alpha_k=-\frac {r_k^Tp_k}{p_k^TAp_k} \end{align}$$

对于任何初始点$x_0$共轭方向算法最多N步可以收敛到最优解$x^*$

证明：思路通过上述算法可以表示出最优解。
1. 由于${p_i}$线性独立，则在N维空间中可以生成整个空间，因此

$$x^*-x_0=\delta_0p_0+\delta_1p_1+...+\delta_{n-1}p_{n-1}$$ 左边同时乘上 $p_k^TA$得到 $$p_k^TA(x^*-x_0)=p_k^TA(\delta_0p_0+\delta_1p_1+...+\delta_{n-1}p_{n-1})=\delta_k p_k^TAp_k$$ ，可以推出

δk=pT