共轭梯度法推导

1.共轭向量

 在介绍共轭梯度法前，首先介绍一下共轭向量的概念。对于向量${\mathbf{e}}_1$，${\mathbf{e}}_2$，如果两个向量正交，则有${{\mathbf{e}}_1}^{\mathrm{T}}{\mathbf{e}}_2=0$，那么对于共轭向量来说，假设有一正定对称矩阵$\mathbf{A}$，如果${{\mathbf{e}}_1}^{\mathrm{T}}\mathbf{A}{\mathbf{e}}_2=0$，则称${\mathbf{e}}_1$，${\mathbf{e}}_2$关于矩阵$\mathbf{A}$相互共轭。即${\mathbf{e}}_2$经过线性变换$\mathbf{A}$后与${\mathbf{e}}_1$正交，通常所指的正交可认为是$\mathbf{A}=\mathbf{I}$的特殊情况。

 那么对于非零向量组${\mathbf{d}}_1,{\mathbf{d}}_2...{\mathbf{d}}_{\mathbf{n}}$，若有${{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}\mathbf{A}{\mathbf{d}}_{\mathbf{j}}=0(i\ne j)$，则称该向量组关于矩阵${\mathbf{A}}_{\mathbf{n}\times \mathbf{n}}$相互共轭，且${\mathbf{d}}_1,{\mathbf{d}}_2...{\mathbf{d}}_{\mathbf{n}}$线性无关，证明如下：
$$\begin{gathered} 要证明线性无关，即对于 \\ {a}_1{\mathbf{d}}_1+a_2{\mathbf{d}}_2+...+a_n{\mathbf{d}}_{\mathbf{n}}=0，当且仅当a_1=a_2=...=a_n=0时成立, \\ 由上式有{{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}\mathbf{A}(a_1{\mathbf{d}}_1+a_2{\mathbf{d}}_2+...+a_n{\mathbf{d}}_{\mathbf{n}})=a_i{{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}\mathbf{A}{\mathbf{d}}_{\mathbf{i}}=0, \\ 由于\mathbf{A}对称正定，故{{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}\mathbf{A}{\mathbf{d}}_{\mathbf{i}}>0,因此a_i=0. \end{gathered}$$

 由于该向量组线性无关，故该向量组可以构成$n$维空间的一组基。空间中任一向量$\mathbf{x}={\sum }_{i=1}^n{a}_i{\mathbf{d}}_{\mathbf{i}}$，可以证明$a_i=\frac{{{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}A\mathbf{x}}{{{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}A{\mathbf{d}}_{\mathbf{i}}}$，证明如下：
$$\begin{gathered} {{\mathbf{d}}_{\mathbf{k}}}^{\mathrm{T}}\mathbf{A}\mathbf{x}={{\mathbf{d}}_{\mathbf{k}}}^{\mathrm{T}}\mathbf{A}\sum _{i=1}^n{a}_i{\mathbf{d}}_{\mathbf{i}}=a_k{{\mathbf{d}}_{\mathbf{k}}}^{\mathrm{T}}\mathbf{A}{\mathbf{d}}_{\mathbf{k}} \\ {a}_k=\frac{{{\mathbf{d}}_{\mathbf{k}}}^{\mathrm{T}}A\mathbf{x}}{{{\mathbf{d}}_{\mathbf{k}}}^{\mathrm{T}}A{\mathbf{d}}_{\mathbf{k}}} \\ \mathbf{x}=\sum _{i=1}^n\frac{{{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}A\mathbf{x}}{{{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}A{\mathbf{d}}_{\mathbf{i}}}{\mathbf{d}}_{\mathbf{i}}\text{\hspace{1em}(1)} \end{gathered}$$
 为了对共轭向量的作用有一个认识，这里举一个例子。例如对于线性方程组$A\mathbf{x}=\mathbf{b}$，其中$A$对称正定，如果已知$A$的一个共轭向量组${\mathbf{d}}_1,{\mathbf{d}}_2...{\mathbf{d}}_{\mathbf{n}}$，那么：
$$\mathbf{x}=\sum _{i=1}^n\frac{{{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}A\mathbf{x}}{{{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}A{\mathbf{d}}_{\mathbf{i}}}{\mathbf{d}}_{\mathbf{i}}=\sum _{i=1}^n\frac{{{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}\mathbf{b}}{{{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}A{\mathbf{d}}_{\mathbf{i}}}{\mathbf{d}}_{\mathbf{i}}\text{\hspace{1em}(2)}$$
这样，就不需要对系数矩阵$A$求逆就可得结果。

2.共轭梯度法

 对于更一般的线性方程组$\mathbf{A}\mathbf{x}=\mathbf{c}$，其中$\mathbf{A}$可逆，要求$\mathbf{x}$，可以将其转化为一个最优化问题：$\min ||\mathbf{A}\mathbf{x}-\mathbf{c}|{|}^2$，记$f(\mathbf{x})=||\mathbf{A}\mathbf{x}-\mathbf{c}|{|}^2=(\mathbf{A}\mathbf{x}-\mathbf{c}{)}^{\mathrm{T}}(\mathbf{A}\mathbf{x}-\mathbf{c})={\mathbf{x}}^{\mathrm{T}}{\mathbf{A}}^{\mathrm{T}}\mathbf{A}\mathbf{x}-2{\mathbf{c}}^{\mathrm{T}}\mathbf{A}\mathbf{x}+{\mathbf{c}}^{\mathrm{T}}\mathbf{c}$，令$\mathbf{Q}={\mathbf{A}}^{\mathrm{T}}\mathbf{A}$，${\mathbf{b}}^{\mathrm{T}}={\mathbf{c}}^{\mathrm{T}}\mathbf{A}$，则问题等效于求
$$\min \frac{1}{2}{\mathbf{x}}^{\mathrm{T}}\mathbf{Q}\mathbf{x}-{\mathbf{b}}^{\mathrm{T}}\mathbf{x}\text{\hspace{1em}(3)}$$
其中$\mathbf{Q}$对称正定，$f^{\prime }(\mathbf{x})=\mathbf{Q}\mathbf{x}-\mathbf{b}$，事实上直接令$f^{\prime }(\mathbf{x})=0$即可得真实解${\mathbf{x}}^{\ast }={\mathbf{Q}}^{-1}\mathbf{b}$。那么如果使用迭代的方法如何求解呢？给定初始值${\mathbf{x}}_0$，下面定义两个变量：
$$\begin{gathered} {\mathbf{e}}_{\mathbf{i}}={\mathbf{x}}_{\mathbf{i}}-{\mathbf{x}}^{\ast },称作误差向量 \\ {\mathbf{r}}_{\mathbf{i}}=\mathbf{b}-\mathbf{Q}{\mathbf{x}}_{\mathbf{i}},称作残差向量\text{\hspace{1em}(4)} \end{gathered}$$
由以上定义，易得下面两个推论：
$$\begin{gathered} {\mathbf{r}}_{\mathbf{i}}=-\mathbf{Q}{\mathbf{e}}_{\mathbf{i}} \\ {\mathbf{r}}_{\mathbf{i}}=-f^{\prime }(\mathbf{x})\text{\hspace{1em}(5)} \end{gathered}$$
假设我们有一个正交向量组${\mathbf{d}}_0,{\mathbf{d}}_1...{\mathbf{d}}_{\mathbf{n}-1}$，这些向量构成了$n$维空间的一组基，那么初始误差${\mathbf{e}}_0$可以写作（系数前添加符号是为了使${\mathbf{d}}_{\mathbf{i}}$与搜索方向一致）：
$$\begin{gathered} {\mathbf{e}}_0={\mathbf{x}}_0-{\mathbf{x}}^{\ast }=-{\alpha }_0{\mathbf{d}}_0-{\alpha }_1{\mathbf{d}}_1-...-{\alpha }_{n-1}{\mathbf{d}}_{\mathbf{n}-1} \\ {\mathbf{e}}_1={\mathbf{x}}_1-{\mathbf{x}}^{\ast }={\mathbf{x}}_0+{\alpha }_0{\mathbf{d}}_0-{\mathbf{x}}^{\ast }=-{\alpha }_1{\mathbf{d}}_1-...-{\alpha }_{n-1}{\mathbf{d}}_{\mathbf{n}-1} \\ ... \\ {\mathbf{e}}_{\mathbf{n}}=0\text{\hspace{1em}(6)} \end{gathered}$$
共轭梯度法的思想就是在每一步的迭代中，消除某一方向上的误差，这样通过$n$步迭代即可求得结果。下面求每一项系数，由上式有：
$$\begin{gathered} {\mathbf{e}}_{\mathbf{i}+1}={\mathbf{e}}_{\mathbf{i}}+{\alpha }_i{\mathbf{d}}_{\mathbf{i}} \\ {{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}{\mathbf{e}}_{\mathbf{i}+1}={{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}(\sum _{j=i+1}^{n-1}(-{\alpha }_j){\mathbf{d}}_{\mathbf{j}})=0 \\ {{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}{\mathbf{e}}_{\mathbf{i}+1}={{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}{\mathbf{e}}_{\mathbf{i}}+{\alpha }_i{{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}{\mathbf{d}}_{\mathbf{i}}=0 \\ {\alpha }_i=-\frac{{{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}{\mathbf{e}}_{\mathbf{i}}}{{{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}{\mathbf{d}}_{\mathbf{i}}}\text{\hspace{1em}(7)} \end{gathered}$$
以此步长进行迭代，即可保证第$i$次迭代后的误差向量${\mathbf{e}}_{\mathbf{i}+1}$与第$i$次迭代时的搜索方向向量${\mathbf{d}}_{\mathbf{i}}$是正交的，这样也避免了后续迭代过程中再次往${\mathbf{d}}_{\mathbf{i}}$方向搜索。由公式$(4)$的定义知，迭代过程中${\mathbf{e}}_{\mathbf{i}}$是无法直接计算的，因此我们不能通过这个公式直接得到${\alpha }_i$的取值。但是如果引入共轭向量的概念，即向量组${\mathbf{d}}_0,{\mathbf{d}}_1...{\mathbf{d}}_{\mathbf{n}-1}$关于$\mathbf{Q}$是共轭的，那么有：
$$\begin{gathered} {{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{d}}_{\mathbf{j}}=0(i\ne j) \\ {{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{e}}_{\mathbf{i}+1}={{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}\mathbf{Q}(\sum _{j=i+1}^{n-1}(-{\alpha }_j){\mathbf{d}}_{\mathbf{j}})=0 \\ {{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{e}}_{\mathbf{i}+1}={{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{e}}_{\mathbf{i}}+{\alpha }_i{{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{d}}_{\mathbf{i}}=0 \\ {\alpha }_i=-\frac{{{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{e}}_{\mathbf{i}}}{{{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{d}}_{\mathbf{i}}}=\frac{{{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{i}}}{{{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{d}}_{\mathbf{i}}}\text{\hspace{1em}(7)} \end{gathered}$$
上式最后一步用到了公式$(5)$，由公式$(4)$的定义知，迭代过程中${\mathbf{r}}_{\mathbf{i}}$是可以求得的，这样就求得了每一方向上的步长。

 接下来，问题就变为如何在迭代过程中构造关于$\mathbf{Q}$的共轭向量组。存在一种简单方法，我们称之为施密特正交化。

 假设我们有一组$n$个线性无关的向量${\mathbf{u}}_0,{\mathbf{u}}_1...{\mathbf{u}}_{\mathbf{n}-1}$，通过施密特正交化来构建一组共轭向量${\mathbf{d}}_0,{\mathbf{d}}_1...{\mathbf{d}}_{\mathbf{n}-1}$，首先令${\mathbf{d}}_0={\mathbf{u}}_0$，那么对于${\mathbf{d}}_1$我们通过将${\mathbf{u}}_1$减掉该向量中关于${\mathbf{d}}_0$不构成共轭的那部分，即保留该向量中与${\mathbf{d}}_0$共轭的那部分分量，即得到${\mathbf{d}}_1$，后续构建的向量依次类推，公式如下：
$${\mathbf{d}}_{\mathbf{i}}={\mathbf{u}}_{\mathbf{i}}+\sum _{k=0}^{i-1}{\beta }_{ik}{\mathbf{d}}_{\mathbf{k}}\text{\hspace{1em}(8)}$$
为了求解${\beta }_{ik}$，我们将等式两侧同时左乘${{\mathbf{d}}_{\mathbf{j}}}^{\mathrm{T}}\mathbf{Q}$，有：
$$\begin{gathered} {{\mathbf{d}}_{\mathbf{j}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{d}}_{\mathbf{i}}={{\mathbf{d}}_{\mathbf{j}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{u}}_{\mathbf{i}}+{{\mathbf{d}}_{\mathbf{j}}}^{\mathrm{T}}\mathbf{Q}\sum _{k=0}^{i-1}{\beta }_{ik}{\mathbf{d}}_{\mathbf{k}} \\ ={{\mathbf{d}}_{\mathbf{j}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{u}}_{\mathbf{i}}+{{\mathbf{d}}_{\mathbf{j}}}^{\mathrm{T}}\mathbf{Q}{\beta }_{ij}{\mathbf{d}}_{\mathbf{j}}=0,(i>j) \\ \therefore {\beta }_{ij}=-\frac{{{\mathbf{d}}_{\mathbf{j}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{u}}_{\mathbf{i}}}{{{\mathbf{d}}_{\mathbf{j}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{d}}_{\mathbf{j}}}\text{\hspace{1em}(9)} \end{gathered}$$
由公式可知，每构造一个新的共轭向量，我们需要保存之前已构造的共轭向量，进而计算${\beta }_{ik}$，操作复杂度高。

 有没有办法解决这个问题呢？在迭代过程中，我们利用残差向量来构造共轭向量，即${\mathbf{u}}_{\mathbf{i}}={\mathbf{r}}_{\mathbf{i}}$，这是因为残差向量有一个非常好的性质，即：
$${{\mathbf{r}}_{\mathbf{i}}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{j}}=0,i\ne j\text{\hspace{1em}(10)}$$
即当前残差向量与之前所有的残差向量均正交，所以只要残差向量不为$0$，一定会产生新的方向的分量，即是线性无关的一组向量，这是因为如前所述${\mathbf{e}}_{\mathbf{j}}$中已经不包含由${\mathbf{d}}_{\mathbf{i}}$方向分量，故有${\mathbf{d}}_{\mathbf{i}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{j}}={\mathbf{d}}_{\mathbf{i}}^{\mathrm{T}}\mathbf{Q}{\mathbf{e}}_{\mathbf{j}}=0$，由式$(8)$有：
$$\begin{gathered} {\mathbf{d}}_{\mathbf{i}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{j}}={\mathbf{u}}_{\mathbf{i}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{j}}+\sum _{k=0}^{i-1}{\beta }_{ik}{\mathbf{d}}_{\mathbf{k}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{j}} \\ 0={\mathbf{u}}_{\mathbf{i}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{j}} \\ 取{\mathbf{u}}_{\mathbf{i}}={\mathbf{r}}_{\mathbf{i}}，即有{{\mathbf{r}}_{\mathbf{i}}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{j}}=0,i\ne j\text{\hspace{1em}(11)} \end{gathered}$$
故${\beta }_{ij}=-\frac{{{\mathbf{d}}_{\mathbf{j}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{r}}_{\mathbf{i}}}{{{\mathbf{d}}_{\mathbf{j}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{d}}_{\mathbf{j}}}$，残差向量${\mathbf{r}}_{\mathbf{i}}$满足下面的迭代公式：
$$\begin{gathered} {\mathbf{r}}_{\mathbf{i}+1}=-\mathbf{Q}{\mathbf{e}}_{\mathbf{i}+1} \\ =-\mathbf{Q}({\mathbf{e}}_{\mathbf{i}}+{\mathbf{\alpha }}_{\mathbf{i}}{\mathbf{d}}_{\mathbf{i}}) \\ ={\mathbf{r}}_{\mathbf{i}}-{\alpha }_i\mathbf{Q}{\mathbf{d}}_{\mathbf{i}}\text{\hspace{1em}(12)} \end{gathered}$$

由上式可得：
$$\begin{gathered} {\mathbf{r}}_{\mathbf{i}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{j}+1}={\mathbf{r}}_{\mathbf{i}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{j}}-{\alpha }_j{\mathbf{r}}_{\mathbf{i}}^{\mathrm{T}}\mathbf{Q}{\mathbf{d}}_{\mathbf{j}} \\ \therefore {\alpha }_j{\mathbf{r}}_{\mathbf{i}}^{\mathrm{T}}\mathbf{Q}{\mathbf{d}}_{\mathbf{j}}={\mathbf{r}}_{\mathbf{i}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{j}}-{\mathbf{r}}_{\mathbf{i}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{j}+1} \\ \therefore {\mathbf{r}}_{\mathbf{i}}^{\mathrm{T}}\mathbf{Q}{\mathbf{d}}_{\mathbf{j}}=\{\begin{array}{ll}\frac{1}{{\alpha }_i}{\mathbf{r}}_{\mathbf{i}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{i}}& i=j\\ -\frac{1}{{\alpha }_{i-1}}{\mathbf{r}}_{\mathbf{i}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{i}}& i=j+1\\ 0& else\end{array}\text{\hspace{1em}(13)} \end{gathered}$$

将上式带入公式$(9)$：
$${\beta }_{ij}=-\frac{{{\mathbf{d}}_{\mathbf{j}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{u}}_{\mathbf{i}}}{{{\mathbf{d}}_{\mathbf{j}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{d}}_{\mathbf{j}}}=-\frac{{{\mathbf{d}}_{\mathbf{j}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{r}}_{\mathbf{i}}}{{{\mathbf{d}}_{\mathbf{j}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{d}}_{\mathbf{j}}}=-\frac{{{\mathbf{r}}_{\mathbf{i}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{d}}_{\mathbf{j}}}{{{\mathbf{d}}_{\mathbf{j}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{d}}_{\mathbf{j}}}=\{\begin{array}{ll}\frac{1}{{\alpha }_{i-1}}\frac{{\mathbf{r}}_{\mathbf{i}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{i}}}{{{\mathbf{d}}_{\mathbf{i}-1}}^{\mathrm{T}}\mathbf{Q}{\mathbf{d}}_{\mathbf{i}-1}}& i=j+1\\ 0& i>j+1\end{array}\text{\hspace{1em}(14)}$$

由此可见，${\beta }_{ij}$中，只有一个非零项${\beta }_{i,i-1}$，这样只需要存储前一步的搜索方向向量就可以了，进一步将公式$(7)$带入上式，有：
$$\begin{gathered} {\beta }_{i,i-1}=\frac{{{\mathbf{d}}_{\mathbf{i}-1}}^{\mathrm{T}}\mathbf{Q}{\mathbf{d}}_{\mathbf{i}-1}}{{{\mathbf{d}}_{\mathbf{i}-1}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{i}-1}}\frac{{\mathbf{r}}_{\mathbf{i}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{i}}}{{{\mathbf{d}}_{\mathbf{i}-1}}^{\mathrm{T}}\mathbf{Q}{\mathbf{d}}_{\mathbf{i}-1}} \\ =\frac{{\mathbf{r}}_{\mathbf{i}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{i}}}{{{\mathbf{d}}_{\mathbf{i}-1}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{i}-1}}=\frac{{\mathbf{r}}_{\mathbf{i}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{i}}}{{{\mathbf{r}}_{\mathbf{i}-1}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{i}-1}}(由公式(11)可得) \end{gathered}$$

3.总结

 至此，步长，迭代方向均已求出，共轭梯度法总结如下：

目标：$\min \frac{1}{2}{\mathbf{x}}^{\mathrm{T}}\mathbf{Q}\mathbf{x}-{\mathbf{b}}^{\mathrm{T}}\mathbf{x}$

初始迭代点：${\mathbf{x}}_0$

初始迭代方向：${\mathbf{d}}_0={\mathbf{r}}_0=\mathbf{b}-\mathbf{Q}{\mathbf{x}}_0$

循环：

${\alpha }_i=\frac{{{\mathbf{r}}_{\mathbf{i}}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{i}}}{{{\mathbf{d}}_{\mathbf{i}}}^{\mathrm{T}}\mathbf{Q}{\mathbf{d}}_{\mathbf{i}}}$

${\mathbf{x}}_{\mathbf{i}+1}={\mathbf{x}}_{\mathbf{i}}+{\alpha }_i{\mathbf{d}}_{\mathbf{i}}$

${\mathbf{r}}_{\mathbf{i}+1}={\mathbf{r}}_{\mathbf{i}}-{\alpha }_i\mathbf{Q}{\mathbf{d}}_{\mathbf{i}}$

${\beta }_{i+1}=\frac{{\mathbf{r}}_{\mathbf{i}+1}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{i}+1}}{{{\mathbf{r}}_{\mathbf{i}}}^{\mathrm{T}}{\mathbf{r}}_{\mathbf{i}}}$

${\mathbf{d}}_{\mathbf{i}+1}={\mathbf{r}}_{\mathbf{i}+1}+{\beta }_{i+1}{\mathbf{d}}_{\mathbf{i}}$

参考：https://flat2010.github.io/2018/10/26/%E5%85%B1%E8%BD%AD%E6%A2%AF%E5%BA%A6%E6%B3%95%E9%80%9A%E4%BF%97%E8%AE%B2%E4%B9%89/#8-%E5%85%B1%E8%BD%AD%E6%A2%AF%E5%BA%A6%E6%B3%95