Jacobi迭代与Gauss–Seidel迭代

在数值代数中考虑线性方程组$A\mathbf{x}=\mathbf{b}$，其中$A\in\mathbb{R}^{n\times n}$，$\mathbf{x}\in\mathbb{R}^{n}$。一般有两种思路：

1. 当矩阵$A$为低阶稠密矩阵时，考虑使用Gauss消元思想进行求解；
2. 当$A$ 为大型稀疏矩阵时，考虑使用迭代法进行求解。

本文对两类基本的迭代方法进行一些归纳讨论。

---

一、迭代法的基本概念

迭代法的基本思想是将$A\mathbf{x}=\mathbf{b}$转化为便于迭代的等价方程组：$\mathbf{x}=B\mathbf{x}+\mathbf{c}$，进而构造迭代格式

$$\begin{equation}\label{eq:iter} \mathbf{x}^{k+1}=B\mathbf{x}^{k}+\mathbf{c} \end{equation}$$
对于给定的初始向量 $\mathbf{x}^{0}$，由( $\ref{eq:iter}$)产生的序列 $\{\mathbf{x}^{k}\}$满足 $\lim_{k\rightarrow\infty}\mathbf{x}^{k}=\mathbf{x}^{*}$且 $A\mathbf{x}^{*}=\mathbf{b}$，称迭代格式( $\ref{eq:iter}$) 收敛。
一般情形下迭代格式（ $\ref{eq:iter}$）收敛的必要条件为：
1. 矩阵