共轭梯度法的推导与完整算法

共轭梯度法

学习自知乎：https://www.zhihu.com/question/27157047 and wikipedia and 非线性规划课

简介

在数值线性代数中，共轭梯度法是一种求解对称正定线性方程组Ax=b的迭代方法。

事实上，求解Ax=b等价于求解： $min||Ax-b|{|}_2^2$ ,将其展开后可以得到：$min{x}^T{A}^{T}Ax-b^{T}Ax+b^{T}b$ ,也就是等价于求解$min\frac{1}{2}{x}^T{A}^{T}Ax-b^{T}Ax$ 。于是解方程问题就转化为了求解二次规划问题(QP)。

共轭梯度法是介于梯度下降法与牛顿法之间的一个方法，是一个一阶方法。它克服了梯度下降法收敛慢的缺点，又避免了存储和计算牛顿法所需要的二阶导数信息。

在n维的优化问题中，共轭梯度法最多n次迭代就能找到最优解（是找到，不是接近），但是只针对二次规划问题。

共轭梯度法的思想就是找到n个两两共轭的共轭方向，每次沿着一个方向优化得到该方向上的极小值，后面再沿其它方向求极小值的时候，不会影响前面已经得到的沿哪些方向上的极小值，所以理论上对n个方向都求出极小值就得到了n维问题的极小值。

算法推导过程

目标函数的标准形式：

${\min }_{x\in R^n}\frac{1}{2}{x}^{T}Qx-b^{T}x$

Q-conjugate: 对于正定矩阵Q，如果非零向量x,y是Q-conjugate的，那么

$x^{T}Qy=0$

我们需要找到n个相互Q-conjugate的基向量$d_1,d_2,\dots ,d_n$，它们相互共轭且线性无关。

因此空间中任意向量x都可以用这组基向量表示：

$x={\sum }_{i=1}^n{a}_i{d}_i$

因此我们的目标函数可以改写为：
min ⁡ a 1 , . . . , a n ∈ R n 1 2 ( ∑ i = 1 n a i d i ) T Q ( ∑ j = 1 n a j d j ) − b T ( ∑ i = 1 n a i d i ) = min ⁡ a 1 , . . . , a n ∈ R n 1 2 ∑ i = 1 n ∑ j = 1 n a i a j d i T Q d j − ∑ i = 1 n a i b T d i \min_{a_1,...,a_n\in R^n}\frac{1}{2}(\sum_{i=1}^na_id_i)^TQ(\sum_{j=1}^na_jd_j)-b^T(\sum_{i=1}^na_id_i) \\ =\min_{a_1,...,a_n\in R^n}\frac{1}{2}\sum_{i=1}^n\sum_{j=1}^na_ia_jd_i^TQd_j-\sum_{i=1}^na_ib^Td_i a1​,...,an​∈Rnmin​21​(i=1∑n​ai​di​)TQ(j=1∑n​aj​d