基于python实现的Jacobi迭代法和Gauss-Seidel迭代法

之前的文章介绍过Gauss消元法、Doolittle和Crout分解等解线性方程组的直接方法。但是直接法不是在任何时候都可用的，它有以下缺点：

• 在有舍入误差的情况下，直接法只能得到方程的近似解。
• 如果待求解问题规模很大，直接法求解的计算量是很大的，更糟的是随着计算量的增大舍入误差积累也会越多，从而得到的解误差更大。所以直接法适合小规模稠密型方程组的求解。
• 另外，直接法的程序设计也比较复杂。

---

迭代法解线性方程组

对于方程组 $Ax=b$ 一般可以将其写成如下形式
$$x=Mx+g$$建立上述方程组的迭代公式：
$$x^{(k+1)}=M{x}^{(k)}+g,k=0,1,2,\dots$$这个迭代公式有什么用呢？

当向量序列 $x^{(k)}$ 收敛于 $x^{\ast }$ 时，有
$$x^{\ast }=M{x}^{\ast }+g$$可以发现 $x^{\ast }$ 即为方程组 $x=Mx+g$ 的解，也就是说，当 $x^{(k)}$ 收敛时，$x^{(k)}$ 即为方程组的解。

以上就是迭代法解方程组的基本原理，只要$x^{(k)}$收敛，就可以通过k步迭代得到方程组的近似解。

下面介绍两种经典的迭代法：Jacobi迭代法和Gauss-Seidel迭代法。

---

Jacobi迭代法

假设有下列线性方程组
$$\{\begin{array}{l}{a}_{11}{x}_1+a_{12}{x}_2+a_{13}{x}_3=b_1\\ a_{21}{x}_1+a_{22}{x}_2+a_{23}{x}_3=b_2\\ a_{31}{x}_1+a_{32}{x}_2+a_{33}{x}_3=b_3\end{array}$$
将其写成下面形式
$$\{\begin{array}{l}{x}_1=\frac{1}{a_{11}}(b_1-a_{12}{x}_2-a_{13}{x}_3)\\ x_2=\frac{1}{a_{22}}(b_2-a_{21}{x}_1-\end{array}$$