《计算方法》笔记之（五）线性代数方程组之 解线性方程组的迭代法

解线性方程组 $Ax=b$ 可以有两种方法：

1. 准确方法
   例如高斯消去法等
2. 迭代方法
   从某个特殊值出发，按照一个适当的计算法则，逐次计算出 x 的值，不断地逼近准确值。

基本迭代法

迭代法实质上是指：有这么一个函数 $\phi (x)$ ，初始近似向量 $x^{(0)}$ 使得：
$x^{(1)}=\phi (x^{(0)})$
$x^{(2)}=\phi (x^{(1)})$
…
$x^{(k)}=\phi (x^{(k-1)})$
…
$x^{(\ast )}=\phi (x^{(\ast )})$

迭代法是一种逐次近似的方法，需解决的问题:
(1) 如何确定初始近似向量 $x^{(0)}$
(2) 如何构造一种迭代格式，由 $x^{(k-1)}$ 计算 $x^{(k)}$
(3) 证明所得到的向量序列 $\left\{x^{(k)}\right\}$ 收敛性
(4) 若 $\left\{x^{(k)}\right\}$ 收敛于 x,x 是否是原方程的解
(5) 若 x 是原方程组的解，那么当 k 足够多大时， $x^{(k)}$ 的可以作为解的一个近似

在迭代的过程中最简单的函数是线型函数：
$y=ax+b$
对于向量：
$$Y=GX+d$$

根据$x^{(\ast )}=\phi (x^{(\ast )})$

$x^{(\ast )}=G{x}^{(\ast )}+d$
$(I-G)x^{(\ast )}=d$

$\{\begin{array}{c}G=I-A\\ d=b\end{array}$

其中$G={\left(g_{ij}\right)}_{n\times n},d={\left(d_1,d_2,...,d_n\right)}^T$

由此可用$x^{(k)}=G{x}^{(k-1)}+d{}_k=0,1,2,....,$ 计算迭代序列$\left\{x^{(k)}\right\}$

Jacobi 迭代

$$\{\begin{array}{c}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2\\ ⋮\\ a_{n1}{x}_1+a_{n2}{x}_2+\cdots +a_{nn}{x}_n=b_n\end{array}$$
改写为：
$$\{\begin{array}{c}{x}_1=(b_1-a_{12}{x}_2-a_{13}{x}_3\cdots -a_{1n}{x}_n)/a_{11}\\ x_2=(b_2-a_{21}{x}_1-a_{23}{x}_3\cdots -a_{2n}{x}_n)/a_{22}\\ ⋮\\ x_n=(b_n-a_{n1}{x}_1-a_{n2}{x}_2\cdots -a_{nn-1}{x}_{n-1})/a_{nn}\end{array}$$
得到迭代格式：

$$x_i^{(k)}=\frac{1}{{\alpha }_{ii}}\left[\sum _{j=1,j̸=i}^n{\alpha }_{ij}{x}_{{}_j}^{(k-1)}\right],i=1,2,...,n$$
迭代公式为：
$$\{\begin{array}{c}{x}_1^{(k)}=(b_1-a_{12}{x}_2^{(k-1)}-a_{13}{x}_3^{(k-1)}\cdots -a_{1n}{x}_n^{(k-1)})/a_{11}\\ x_2^{(k)}=(b_2-a_{21}{x}_1^{(k-1)}-a_{23}{x}_3^{(k-1)}\cdots -a_{2n}{x}_n^{(k-1)})/a_{22}\\ ⋮\\ x_n^{(k)}=(b_n-a_{n1}{x}_1^{(k-1)}-a_{n2}{x}_2^{(k-1)}\cdots -a_{nn-1}{x}_{n-1}^{(k-1)})/a_{nn}\end{array}$$

Gauss-Seidel 迭代

在 Jacobi 迭代迭代中，当计算第 i 个分量 $x_i^{(k)}$ 时，前面 i-1 个分量 $x_1^{(k)},x_2^{(k)},...,x_{i-1}^{(k)}$ 都已经计算出来了，可以使用它们来计算 $x_i^{(k)}$ 。
$$x_{{}_i}^{(k)}=\frac{1}{a_{ii}}\left[{\beta }_i-\sum _{j=1}^{i-1}{\alpha }_{ij}{x}_j^{(k)}-\sum _{j=i+1}^n{\alpha }_{ij}{x}_j^{(k-1)}\right]i=1,2,...,n,k=1,2,...$$

{ x 1 ( k ) = ( b 1 − a 12 x 2 ( k − 1 ) − a 13 x 3 ( k − 1 ) ⋯ − a 1 n x n ( k − 1 ) ) / a 11 x 2 ( k ) = ( b 2 −