共轭梯度法

概述

作为一种迭代的优化方法，共轭梯度（Conjugate Gradient，cg）由Hestenes和Stiefe于1951年提出。cg是针对形如式(1-1)的优化方法。

$$Ax=b \tag{1-1}\label{1-1}$$
需要指出的是，式(1-1)有着广泛的应用场景。例如，令 $x^*$为二次问题（如式(1-2)所示）的最小值：
$$f(x)= \frac{1}{2}x^TAx-bx \tag{1-2}\label{1-2}$$
$$x^*=\arg\min_{x} f(x) \tag{1-3}\label{1-3}$$ 则有
$$\nabla f(x^{*})=Ax^{*}-b=0 \tag{1-4}\label{1-4}$$ 显然，式(1-4)可以用cg方法求解。
此外，牛顿法的每轮迭代需要计算 $d^{{k}}=-{(H^{(k)})}^{-1}g^{k}$，即 $H^{(k)}d^{{k}}=-g^{k}$。此时，也可以使用cg来求取。

原理

共轭的定义

令$A \in R^{n \times n}$是对称正定矩阵。对于$d^{(i)}, d^{(j)} \in R^{n}$ ，若有$(d^{(i)})^TAd^{(j)}=0$，则称$d^{(i)}$与$d^{(j)}$关于$A$共轭。

对于一组向量$d^{(1)},d^{(2)},...,d^{(k)}\in R^{n}$，若它们两两关于$A$共轭，即$(d^{(i)})^TAd^{(j)}=0, i \ne j$，则称该组向量关于$A$共轭。

需要指出的是，共轭是正交的推广。这是因为，若$A=I$，则有$(d^{(i)})^TId^{(j)}=0 \Rightarrow d^{(i)}\bot d^{(j)}$

可以证明关于$A$共轭的一组向量$d^{(1)},d^{(2)},...,d^{(k)}$线性无关。

几何意义

对于二次函数

f(x)=12(x−x∗)TA(x−x∗)