预处理共轭梯度法（1）

预处理共轭梯度法（1）

1.共轭梯度法的收敛性分析

定理：设A为n x n对称正定矩阵，其最大与最小特征值分别为${\lambda }_1$和${\lambda }_n$,$Ax=b$的精确解为$x^{\ast }$，则对任意初始$x^{(0)}$，求解$Ax=b$的共轭梯度法有
$${\Vert x^{(k)}-x^{\ast }\Vert }_A⩽2(\frac{\sqrt{cond(A)}-1}{\sqrt{cond(A)}+1}{)}^k{\Vert x^{(0)}-x^{\ast }\Vert }_A$$
其中$cond(A{)}_2=\frac{{\lambda }_1(A)}{{\lambda }_n(A)}$。

我们观察$(\frac{\sqrt{cond(A)}-1}{\sqrt{cond(A)}+1}{)}^k$可以知道

当${\lambda }_1>>{\lambda }_n$时，或者$cond(A{)}_2$较大时，共轭梯度法的收敛效率会变得比较低。

2.预处理的基本思想

预处理被称为PCG方法（preconditioned conjugated gradient method）

既然共轭梯度法的收敛速度取决于系数矩阵的特征值，那么我们可以将$Ax=b$转化为等价的$\tilde{A}x=\tilde{b}$。

使得$\tilde{A}x=\tilde{b}$在与$Ax=b$同解的前提下，而$\tilde{A}$的最大、最小的特征值之比远小于A的最大、最小的特征值之比。

从而再次运用共轭梯度法求解方程组能够达到提高收敛速度的效果。

3.预处理共轭梯度法

求解$$Ax=b$$
其中A为n阶系数的对称正定矩阵。现寻找非奇异的n阶矩阵C，使得$\overline{A}=C^{-1}A(C^{-1}{)}^T$的条件数比A的条件数小。而$\overline{A}$也是对称正定矩阵。

我们接着令$\overline{x}=C^{T}x,b=C^{-1}b$，最终将问题转化为求解$$\overline{A}\overline{x}=\overline{b}$$
然后通过$x=(C^T{)}^{-1}\overline{x}$求出原问题的解。

4.预处理矩阵

已知在通过迭代法求解线性方程组的过程中，我们需要清楚每次下降的方向和下降的步长。

(1)下降的方向

${\overline{d}}^{(k+1)}={\overline{d}}^{(r+1)}+{\overline{\beta }}_k{\overline{d}}^{(k)}$

通过已知的变换，我们可以得出${\overline{d}}^{(k)}=C^T{d}^{(k)}$（与$x$的变换是一致的）和${\overline{r}}^{(k)}=C^{-1}{r}^{(k)}$。

我们有：$d^{(k+1)}=C^{-T}{\overline{d}}^{(k+1)}=C^{-T}({\overline{r}}^{(k+1)}+{\overline{\beta }}_k{\overline{d}}^{(k)})$
其中，${\overline{\beta }}_k=\frac{({\overline{r}}^{(k+1)},{\overline{r}}^{(k+1)})}{({\overline{r}}^{(k)},{\overline{r}}^{(k)})}$

带入求解后：$$d^{(k+1)}=(C{C}^T{)}^{-1}{r}^{(k+1)}+{\overline{\beta }}_k{d}^{(k)}$$
我们令$M=C{C}^T$,并称其为预处理矩阵

同时我们可以得到：${\overline{\beta }}_k=\frac{({\overline{r}}^{(k+1)},{\overline{r}}^{(k+1)})}{({\overline{r}}^{(k)},{\overline{r}}^{(k)})}=\frac{（z^{(k+1)},r^{(k+1)})}{(z^{(k)},r^{(k)})}$

(2)下降的步长

${\overline{\alpha }}_k=\frac{({\overline{r}}^{(k)},{\overline{r}}^{(k)})}{(d^{(k)},{Ad}^{(k)})}=\frac{（z^{(k)},r^{(k+1)})}{(A{d}^{(k)},d^{(k)})}$

万事俱备后，我么就可以开始将迭代法进行下去了。
关于预处理矩阵的选取会放在后面讲

5.PCG算法

我们先构造预处理矩阵M（对称正定）
算法：

于是我们接下来的问题就是如何选取预处理矩阵M了