下面我们给出求解线性方程组现有的众多迭代法的一个综述,简单介绍它们适用的情况等。
稳定方法
Jacobi
它基本思想是单独求解某一个独立的变量;一次迭代仅仅对一个变量有作用,它便于理解但是收敛速度慢。Gauss-Seidel
和Jacobi方法很像,但每次都利用当前的最新信息,一般情况下, 如果Jacobi方法收敛,那么Gauss-Seidel方法会收敛更快,尽管速度仍然慢。SOR
SOR是在Gauss-Seidel迭代法的基础上插入一个参数得到的,对于最好的参数,SOR可以比Guass-Seidel的收敛速度快一个量级。SSOR
SSOR作为一个标准的迭代方法并不比SOR优越,但是作为一个不稳定方法的preconditioner。
不稳定方法
Conjugate Gradient (CG)
CG名字的由来是它可以生成一组共轭的(或正交的) 的向量。这些向量是迭代的残差,同时也是一个二次方程的梯度,求解这个二次方程的最小值等价于求解线性方程; 当系数矩阵是对称正定矩阵时,CG的收敛速度非常快,同时空间复杂度也很低。Minimum Residual(MINRES) & Symmetric LQ (SYMMLQ)
这两个方法用在当系数矩阵是对称的却不是定常矩阵的情况,可以看成是CG的补充。 当系数矩阵是对称正定的,SYMMLQ和CG是等价的。Conjugate Gradient on the Normal Equations: CGNE & CGNR
假设求解Ax=b,A是可逆矩阵但是非对称, CGNE将利用CG求解 (ATA)y=b