Jacob迭代+Gauss–Seidel迭代求解线性方程组

解线性方程的迭代法

对于阶数不高的方程组，高斯消元法非常有效，对于阶数高，而系数矩阵稀疏的线性方程组却存在着困难，在这类矩阵中，非零元素较少，若用直接法求解，就要存贮大量零元素。为减少运算量、节约内存，使用迭代法更有利。迭代法就是用某种极限过程去逐步逼近线性方程组精确解的方法，迭代法需要的计算机存储单元少、程序设计简单、原始系数矩阵在计算过程中不变，这些都是迭代法的优点；但是存在收敛性和收敛速度的问题。迭代法适用于解大型的稀疏矩阵方程组。

问题描述

一般的线性方程组形式如下：
$$\{\begin{array}{l}{a}_{11}{x}_1+a_{12}{x}_2+...+a_{1n}{x}_n=b_1\\ a_{21}{x}_1+a_{22}{x}_2+...+a_{2n}{x}_n=b_2\\ ...\\ a_{n1}{x}_1+a_{n2}{x}_2+...+a_{nn}{x}_n=b_n\end{array}$$
系数矩阵A总是可以表示为3个特殊矩阵之和。
$$A=D-L-U$$
$$D=diag(a_{11},a_{22},...,a_{nn})=\left[\begin{array}{cccc}{a}_{11}& 0& ...& 0\\ 0& a_{22}& ...& 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& ...& a_{nn}\end{array}\right]$$
$$L=\left[\begin{array}{cccc}0& 0& ...& 0\\ -a_{21}& 0& ...& 0\\ -a_{31}& -a_{32}& & \\ ⋮& ⋮& \ddots & ⋮\\ -a_{n1}& -a_{n2}& ...& 0\end{array}\right]$$

$$U=\left[\begin{array}{cccc}0& -a_{12}& ...& -a_{1n}\\ 0& ...& -a_{23}& -a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& ...& 0\end{array}\right]$$

L和U分别是系数A对角线以下和以上部分的负值。

迭代收敛条件

当然，不同的迭代法其迭代矩阵B和F的元素是不同的。所以我们讨论该迭代格式的收敛性，就具有普遍意义。
方程组$AX=b$的雅克比迭代法、高斯―赛得尔迭代法的矩阵形式都可以写成下式：
X ( k + 1 ) = B X ( k ) + f X^{(k+1)}=BX^{(k)}+f X(k+1)=BX