解线性方程组的迭代法

考虑线性方程组
$$\mathbf{Ax}=\mathbf{b}$$
其中$\mathbf{A}$非奇异

当$\mathbf{A}$是大型稀疏矩阵的时候，用迭代法解比较好

前置知识

谱半径：https://blog.csdn.net/qq_39942341/article/details/126238464?spm=1001.2014.3001.5501
矩阵微积分：https://blog.csdn.net/qq_39942341/article/details/126255882?spm=1001.2014.3001.5501

对角占优矩阵

设$\mathbf{A}\in {\mathbb{R}}^{n\times n}$
严格对角占优矩阵：如果$\mathbf{A}$的元素满足
$$\left|a_{ii}\right|>\sum _{\genfrac{}{}{0ex}{}{j=1}{j\ne i}}^n\left|a_{ij}\right|,i=1,2,\cdots ,n$$

严格对角占优矩阵：如果$\mathbf{A}$的元素满足
$$\left|a_{ii}\right|\ge \sum _{\genfrac{}{}{0ex}{}{j=1}{j\ne i}}^n\left|a_{ij}\right|,i=1,2,\cdots ,n$$
且上式至少由一个不等式严格成立

可约于不可约矩阵

如果存在置换矩阵$\mathbf{P}$使得
$${\mathbf{P}}^T\mathbf{AP}=\left(\begin{array}{cc}{\mathbf{A}}_{11}& {\mathbf{A}}_{12}\\ 0& {\mathbf{A}}_{22}\end{array}\right)$$
其中${\mathbf{A}}_{11}$为$r$阶方阵，${\mathbf{A}}_{22}$为$n-r$阶方阵，则称$\mathbf{A}$为可约矩阵
如果不存在这样的置换矩阵,则称$\mathbf{A}$为不可约矩阵

对角占优定理

如果$\mathbf{A}$为严格对角占优矩阵或不可约弱对角占优矩阵，则$\mathbf{A}$非奇异
证明：
设$\mathbf{A}$为严格对角占优矩阵
假设$\left|\mathbf{A}\right|=0$,则$\mathbf{Ax}=0$有非零解，则$\left|x_k\right|=\underset{1\le i\le n}{\max }\left|x_i\right|\ne 0$
则
$$\sum _{j=1}^n{a}_{kj}{x}_j=0$$
$$\left|a_{kk}{x}_k\right|=\left|a_{kk}{x}_k-\sum _{j=1}^n{a}_{kj}{x}_j\right|=\left|\sum _{\genfrac{}{}{0ex}{}{j=1}{j\ne k}}^n{a}_{kj}{x}_j\right|\le \sum _{\genfrac{}{}{0ex}{}{j=1}{j\ne k}}^n\left|a_{kj}\right|\left|x_j\right|\le \left|x_k\right|\sum _{\genfrac{}{}{0ex}{}{j=1}{j\ne k}}^n\left|a_{kj}\right|$$
即
$$\left|a_{kk}\right|\le \sum _{\genfrac{}{}{0ex}{}{j=1}{j\ne k}}^n\left|a_{kj}\right|$$
矛盾，所以$\mathbf{A}$非奇异

设$\mathbf{A}$为不可约弱对角占优矩阵
假设$\left|\mathbf{A}\right|=0$,则$\mathbf{Ax}=0$有非零解
J = { k ∣ ∣ x k ∣ ≥ ∣ x i ∣ , i = 1 , 2 , ⋯   , n ; ∃ j , ∣ x k ∣ > ∣ x j ∣ } J=\left\{k|\left|x_k\right|\ge\left|x_i\right|,i=1,2,\cdots,n;\exists j,\left|x_k\right|>\left|x_j\right|\right\} J={k∣∣xk​∣≥∣xi​∣,i=1,2,⋯,n;∃j,∣xk​∣>∣xj​∣}
如果$J=\varnothing$,则$\mathbf{x}=l\mathbf{e}\left(l\ne 0\right)$
对于$k=1,2,\cdots ,n$
$$\sum _{j=1}^n{a}_{kj}{x}_j=0\Rightarrow \sum _{j=1}^n{a}_{kj}=0$$
$$\left|a_{kk}\right|=\left|a_{kk}-\sum _{j=1}^n{a}_{kj}\right|=\left|\sum _{\genfrac{}{}{0ex}{}{j=1}{j\ne k}}^n{a}_{kj}\right|\le \sum _{\genfrac{}{}{0ex}{}{j=1}{j\ne k}}^n\left|a_{kj}\right|$$
矛盾，所以$J\ne \varnothing$

$$\left|a_{kk}{x}_k\right|=\left|a_{kk}{x}_k-\sum _{j=1}^n{a}_{kj}{x}_j\right|=\left|\sum _{\genfrac{}{}{0ex}{}{j=1}{j\ne k}}^n{a}_{kj}{x}_j\right|\le \sum _{\genfrac{}{}{0ex}{}{j=1}{j\ne k}}^n\left|a_{kj}\right|\left|x_j\right|\Rightarrow \left|a_{kk}\right|\le \sum _{\genfrac{}{}{0ex}{}{j=1}{j\ne k}}^n\left|a_{kj}\right|\frac{\left|x_j\right|}{\left|x_k\right|}$$
因为$\left|a_{kk}\right|\ge \sum _{\genfrac{}{}{0ex}{}{j=1}{j\ne k}}^n\left|a_{kj}\right|$
于是
$$\sum _{\genfrac{}{}{0ex}{}{j=1}{j\ne k}}^n\left|a_{kj}\right|\le \sum _{\genfrac{}{}{0ex}{}{j=1}{j\ne k}}^n\left|a_{kj}\right|\frac{\left|x_j\right|}{\left|x_k\right|}$$
也就是说$\forall k\in J,j\notin J$，有$a_{kj}=0$
取置换矩阵$\mathbf{P}$，使得$\mathbf{PA}{\mathbf{P}}^T$为分块上三角矩阵$\left(a_{kj}\right)$换到左下角
矛盾，所以$\mathbf{A}$非奇异

迭代法

定义

对于给定的线性方程组$\mathbf{x}=\mathbf{Bx}+f$,($\mathbf{A}=\mathbf{I}-\mathbf{B}$)用公式
$${\mathbf{x}}^{(k+1)}=\mathbf{B}{\mathbf{x}}^{(k)}+\mathbf{f},k=0,1,2,\cdots ,$$
逐步迭代求近似解的方法称为迭代法

如果$\underset{k\to \infty }{\lim }{\mathbf{x}}^{(k)}$存在(记为${\mathbf{x}}^{\ast }$)，称此迭代法收敛,显然${\mathbf{x}}^{\ast }$就是此方程组的解，否则称为此迭代法发散

$${ϵ}^{(k+1)}={\mathbf{x}}^{(k+1)}-{\mathbf{x}}^{\ast }$$
$${ϵ}^{(k)}=\mathbf{B}{ϵ}^{(k-1)}=\cdots ={\mathbf{B}}^k{ϵ}^{(0)}$$
要想$\left\{{\mathbf{x}}^{(k)}\right\}$收敛，就要$\underset{k\to \infty }{\lim }{ϵ}^{(k)}=0$,就需要研究$\mathbf{B}$满足什么条件时${\mathbf{B}}^k\to 0\left(k\to \infty \right)$

建立

设$\mathbf{A}\in {\mathbb{R}}^{n\times n}$非奇异
将$\mathbf{A}$分裂为
$$\mathbf{A}=\mathbf{M}-\mathbf{N}$$
其中$\mathbf{M}$非奇异，且使$\mathbf{Mx}=\mathbf{d}$容易求解，一般选择为$\mathbf{A}$的某种近似，称$\mathbf{M}$为分裂矩阵

$$\mathbf{Mx}=\mathbf{Nx}+\mathbf{b}$$
所以求解$\mathbf{Ax}=\mathbf{b}$等价于求解$\mathbf{x}={\mathbf{M}}^{-1}\mathbf{Nx}+{\mathbf{M}}^{-1}\mathbf{b}$
即求解
$$\mathbf{x}=\mathbf{Bx}+\mathbf{f}$$
从而可以构造一阶定常迭代法
$$\{\begin{array}{ll}{\mathbf{x}}^{(0)}& \text{初始向量}\\ {\mathbf{x}}^{(k+1)}=\mathbf{B}{\mathbf{x}}^{(k)}+\mathbf{f}& k=0,1,\cdots \end{array}$$
其中$\mathbf{B}={\mathbf{M}}^{-1}\mathbf{N}={\mathbf{M}}^{-1}\left(\mathbf{M}-\mathbf{A}\right)=\mathbf{I}-{\mathbf{M}}^{-1}\mathbf{A},\mathbf{f}={\mathbf{M}}^{-1}\mathbf{b}$

称$\mathbf{B}=\mathbf{I}-{\mathbf{M}}^{-1}\mathbf{A}$为迭代法的迭代矩阵

收敛性

迭代法收敛的充要条件时矩阵$\mathbf{B}$的谱半径$\rho \left(\mathbf{B}\right)<1$
证明：
充分性：设$\rho \left(\mathbf{B}\right)<1$,
易知$\mathbf{A}=\mathbf{I}-\mathbf{B}\succ 0$
所以$\mathbf{Ax}=\mathbf{f}$有唯一解，记为${\mathbf{x}}^{\ast }$,则
$${\mathbf{x}}^{\ast }=\mathbf{B}{\mathbf{x}}^{\ast }+\mathbf{f}$$
误差向量
$${ϵ}^{(k)}={\mathbf{x}}^{(k)}-{\mathbf{x}}^{\ast }={\mathbf{B}}^k{ϵ}^{(0)},{ϵ}^{(0)}={\mathbf{x}}^{(0)}-{\mathbf{x}}^{\ast }$$
由$\rho \left(\mathbf{B}\right)<1$,有$\underset{k\to \infty }{\lim }{\mathbf{B}}^k=0$
于是$\underset{k\to \infty }{\lim }{ϵ}^k=0$,即$\underset{k\to \infty }{\lim }{\mathbf{x}}^{(k)}={\mathbf{x}}^{\ast }$

必要性:设对于任意${\mathbf{x}}^{(0)}$有
$$\underset{k\to \infty }{\lim }{\mathbf{x}}^{(k)}={\mathbf{x}}^{\ast }$$
其中${\mathbf{x}}^{(k+1)}=\mathbf{B}{\mathbf{x}}^{(k)}+\mathbf{f}$,显然${\mathbf{x}}^{\ast }=\mathbf{B}{\mathbf{x}}^{\ast }+\mathbf{f}$
$${ϵ}^{(k)}={\mathbf{x}}^{(k)}-{\mathbf{x}}^{\ast }={\mathbf{B}}^k{ϵ}^{(0)}\to 0\left(k\to \infty \right)$$
故
$$\underset{k\to \infty }{\lim }{\mathbf{B}}^k=0$$
所以$\rho \left(\mathbf{B}\right)<1$

充分条件

如果$\mathbf{B}$的某一种算子范数$\Vert \mathbf{B}\Vert =q<1$,则
（1）迭代法收敛
（2）$\Vert {\mathbf{x}}^{\ast }-{\mathbf{x}}^{(k)}\Vert \le q^k\Vert {\mathbf{x}}^{\ast }-{\mathbf{x}}^{(0)}\Vert$
（3）$\Vert {\mathbf{x}}^{\ast }-{\mathbf{x}}^{(k)}\Vert \le \frac{q}{1-q}\Vert {\mathbf{x}}^{(k)}-{\mathbf{x}}^{(k-1)}\Vert$
（4）$\Vert {\mathbf{x}}^{\ast }-{\mathbf{x}}^{(k)}\Vert \le \frac{q^k}{1-q}\Vert {\mathbf{x}}^{(1)}-{\mathbf{x}}^{(0)}\Vert$

证明：
（1）显然
（2）${\mathbf{x}}^{\ast }-{\mathbf{x}}^{(k+1)}=\mathbf{B}\left({\mathbf{x}}^{\ast }-{\mathbf{x}}^{(k)}\right)$
${\mathbf{x}}^{(k+1)}-{\mathbf{x}}^{(k)}=\mathbf{B}\left({\mathbf{x}}^{(k)}-{\mathbf{x}}^{(k-1)}\right)$
于是
$\Vert {\mathbf{x}}^{\ast }-{\mathbf{x}}^{(k+1)}\Vert \le q\Vert {\mathbf{x}}^{\ast }-{\mathbf{x}}^{(k)}\Vert$
$\Vert {\mathbf{x}}^{(k+1)}-{\mathbf{x}}^{(k)}\Vert \le q\Vert {\mathbf{x}}^{(k)}-{\mathbf{x}}^{(k-1)}\Vert$
所以 $\Vert {\mathbf{x}}^{\ast }-{\mathbf{x}}^{(k)}\Vert \le q^k\Vert {\mathbf{x}}^{\ast }-{\mathbf{x}}^{(0)}\Vert$
（3）
$$\begin{array}{rl}\Vert {\mathbf{x}}^{(k+1)}-{\mathbf{x}}^{(k)}\Vert & =\Vert {\mathbf{x}}^{\ast }-{\mathbf{x}}^{(k)}-\left({\mathbf{x}}^{\ast }-{\mathbf{x}}^{(k+1)}\right)\Vert \\ & \ge \Vert {\mathbf{x}}^{\ast }-{\mathbf{x}}^{(k)}\Vert -\Vert {\mathbf{x}}^{\ast }-{\mathbf{x}}^{(k+1)}\Vert \\ & \ge \left(1-q\right)\Vert {\mathbf{x}}^{\ast }-{\mathbf{x}}^{(k)}\Vert \end{array}$$
即
$$\Vert {\mathbf{x}}^{\ast }-{\mathbf{x}}^{(k)}\Vert \le \frac{1}{1-q}\Vert {\mathbf{x}}^{(k+1)}-{\mathbf{x}}^{(k)}\Vert \le \frac{q}{1-q}\Vert {\mathbf{x}}^{(k)}-{\mathbf{x}}^{(k-1)}\Vert$$
（4）反复使用（3）

对称下的收敛

一下没找到，再说吧

Jacobi迭代

设$\mathbf{A}=\mathbf{D}-\mathbf{L}-\mathbf{U}$
其中
$$\mathbf{D}=\left(\begin{array}{cccc}{a}_{11}& & & \\ & a_{22}& & \\ & & \ddots & \\ & & & a_{nn}\end{array}\right),\mathbf{L}=\left(\begin{array}{ccccc}0& & & & \\ -a_{21}& 0& & & \\ ⋮& ⋮& \ddots & & \\ -a_{n-1,1}& -a_{n-1,2}& \cdots & 0& \\ -a_{n1}& -a_{n2}& \cdots & -a_{n,n-1}& 0\end{array}\right),\mathbf{U}=\left(\begin{array}{ccccc}0& -a_{12}& \cdots & -a_{1,n-1},& -a_{1n}\\ & 0& \cdots & -a_{2,n-1}& -a_{2n}\\ & & \ddots & ⋮& ⋮\\ & & & 0& -a_{n-1,n}\\ & & & & 0\end{array}\right)$$

设$a_{ii}\ne 0\left(i=1,2,\cdots ,n\right)$,选取$\mathbf{M}=\mathbf{D},\mathbf{A}=\mathbf{D}-\mathbf{N}$
则
$$\{\begin{array}{ll}{\mathbf{x}}^{(0)}& \text{初始向量}\\ {\mathbf{x}}^{(k+1)}=\mathbf{B}{\mathbf{x}}^{(k)}+\mathbf{f}& k=0,1,\cdots \end{array}$$
其中$\mathbf{B}=\mathbf{I}-{\mathbf{D}}^{-1}\mathbf{A}={\mathbf{D}}^{-1}\left(\mathbf{L}+\mathbf{U}\right)=\mathbf{J},\mathbf{f}={\mathbf{D}}^{-1}\mathbf{b}$
称$\mathbf{J}$为解$\mathbf{Ax}=\mathbf{b}$的Jacobi迭代法的迭代矩阵
由迭代公式
$$\mathbf{D}{\mathbf{x}}^{(k+1)}=\left(\mathbf{L}+\mathbf{U}\right){\mathbf{x}}^{(k)}+\mathbf{b}$$
或者
$$a_{ii}{x}_i^{(k+1)}=-\sum _{j=1}^{i-1}{a}_{ij}{x}_j^{(k)}-\sum _{j=i+1}^n{a}_{ij}{x}_j^{(k)}+b_i,i=1,2,\cdots n$$
于是，计算公式为
$$x_i^{(k+1)}=\frac{b_i-\sum _{\genfrac{}{}{0ex}{}{j=1}{j\ne i}}^n{a}_{ij}{x}_j^{(k)}}{a_{ii}}$$
或者
$${\mathbf{x}}^{(k+1)}={\mathbf{D}}^{-1}\left(\mathbf{L}+\mathbf{U}\right){\mathbf{x}}^{(k)}+{\mathbf{D}}^{-1}\mathbf{b}$$

收敛性

对角占优矩阵

（1）若$\mathbf{A}$为严格对角占优阵，则Jacobi迭代收敛
（2）若$\mathbf{A}$为不可约弱对角占优矩阵，则Jacobi迭代收敛
证明：
显然$a_{ii}\ne 0$
（1）设$\mathbf{A}$为严格对角占有矩阵
$\mathbf{J}={\mathbf{D}}^{-1}\left(\mathbf{L}+\mathbf{U}\right)$
$$\left|\lambda \mathbf{I}-\mathbf{J}\right|=\left|\lambda \mathbf{I}-{\mathbf{D}}^{-1}\left(\mathbf{L}+\mathbf{U}\right)\right|=\left|\mathbf{D}\right|\left|\lambda \mathbf{D}-\left(\mathbf{L}+\mathbf{U}\right)\right|$$
$\left|\mathbf{D}\right|\ne 0$
若$\left|\lambda \right|\ge 1$
令
$$\mathbf{C}=\lambda \mathbf{D}-\left(\mathbf{L}+\mathbf{U}\right)=\left(\begin{array}{cccc}\lambda a_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& \lambda a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & \lambda a_{nn}\end{array}\right)$$
$$\begin{array}{rl}\left|c_{ii}\right|& =\left|\lambda \right|\left|a_{ii}\right|\\ & >\left|\lambda \right|\sum _{\genfrac{}{}{0ex}{}{j=1}{j\ne i}}^n\left|a_{ij}\right|\\ & \ge \sum _{\genfrac{}{}{0ex}{}{j=1}{j\ne i}}^n\left|a_{ij}\right|\\ & =\sum _{\genfrac{}{}{0ex}{}{j=1}{j\ne i}}^n\left|c_{ij}\right|\end{array}$$
所以$\mathbf{C}$也是对角占优矩阵，由对角占优定理，$\left|\lambda \mathbf{D}-\left(\mathbf{L}+\mathbf{U}\right)\right|=0$
所以$\left|\lambda \right|<1$，即$\rho \left(\mathbf{J}\right)<1$，收敛
（2）与上面的证明类似，也可以证明$\mathbf{C}$是不可约弱对角占优矩阵，然后就收敛了

充要条件

若$\mathbf{A}$对称，且$a_{ii}>0$，则收敛的充要条件为$\mathbf{A},2\mathbf{D}-\mathbf{A}\succ 0$

证明：
因为$a_{ii}>0$，所以$\mathbf{D}\succ 0$
$$\mathbf{B}=\mathbf{I}-{\mathbf{D}}^{-1}\mathbf{A}={\mathbf{D}}^{-\frac{1}{2}}\left(\mathbf{I}-{\mathbf{D}}^{-\frac{1}{2}}\mathbf{A}{\mathbf{D}}^{-\frac{1}{2}}\right){\mathbf{D}}^{\frac{1}{2}}\Rightarrow \mathbf{B}\sim \mathbf{I}-{\mathbf{D}}^{-\frac{1}{2}}\mathbf{A}{\mathbf{D}}^{-\frac{1}{2}}$$

必要性：
设${\mathbf{D}}^{-\frac{1}{2}}\mathbf{A}{\mathbf{D}}^{-\frac{1}{2}}$的特征值为$\mu$，则$\mathbf{B}$的特征值为$1-\mu$
因为$\rho \left(\mathbf{B}\right)<1$,所以$\mu \in \left(0,2\right)$
对于$\forall \mathbf{x}\ne 0$,
$${\mathbf{x}}^T{\mathbf{D}}^{-\frac{1}{2}}\mathbf{A}{\mathbf{D}}^{-\frac{1}{2}}\mathbf{x}={\left({\mathbf{D}}^{-\frac{1}{2}}\mathbf{x}\right)}^T\mathbf{A}\left({\mathbf{D}}^{-\frac{1}{2}}\mathbf{x}\right)>0\Rightarrow \mathbf{A}\succ 0$$
$$2\mathbf{D}-\mathbf{A}={\mathbf{D}}^{\frac{1}{2}}\left(2\mathbf{I}-{\mathbf{D}}^{-\frac{1}{2}}\mathbf{A}{\mathbf{D}}^{-\frac{1}{2}}\right){\mathbf{D}}^{\frac{1}{2}}\Rightarrow 2\mathbf{D}-\mathbf{A}\sim 2\mathbf{I}-{\mathbf{D}}^{-\frac{1}{2}}\mathbf{A}{\mathbf{D}}^{-\frac{1}{2}}\Rightarrow 2\mathbf{D}-\mathbf{A}\succ 0$$

充分性：
$\mathbf{A}\succ 0\Rightarrow {\mathbf{D}}^{-\frac{1}{2}}\mathbf{A}{\mathbf{D}}^{-\frac{1}{2}}\succ 0$
所以$\mathbf{I}-{\mathbf{D}}^{-\frac{1}{2}}\mathbf{A}{\mathbf{D}}^{-\frac{1}{2}}$的特征值小于1
所以$\mathbf{B}$的特征值也小于1
$$\begin{array}{rl}-\mathbf{B}& =-{\mathbf{D}}^{-\frac{1}{2}}\left(\mathbf{I}-{\mathbf{D}}^{-\frac{1}{2}}\mathbf{A}{\mathbf{D}}^{-\frac{1}{2}}\right){\mathbf{D}}^{\frac{1}{2}}\\ & ={\mathbf{D}}^{-\frac{1}{2}}\left(\mathbf{I}-{\mathbf{D}}^{-\frac{1}{2}}\left(2\mathbf{D}-\mathbf{A}\right){\mathbf{D}}^{-\frac{1}{2}}\right){\mathbf{D}}^{\frac{1}{2}}\end{array}$$
其特征值小于1（没看懂），所以$\rho \left(\mathbf{B}\right)<1$，收敛

Gauss-Seidel迭代法

取$\mathbf{M}=\mathbf{D}-\mathbf{L}$（下三角矩阵）$\mathbf{A}=\mathbf{M}-\mathbf{N}$于是
$$\{\begin{array}{ll}{\mathbf{x}}^{(0)}& \text{初始向量}\\ {\mathbf{x}}^{(k+1)}=\mathbf{B}{\mathbf{x}}^{(k)}+\mathbf{f}& k=0,1,\cdots \end{array}$$
其中$\mathbf{B}=\mathbf{I}-{\left(\mathbf{D}-\mathbf{L}\right)}^{-1}\mathbf{A}={\left(\mathbf{D}-\mathbf{L}\right)}^{-1}\mathbf{U}=\mathbf{G},\mathbf{f}={\left(\mathbf{D}-\mathbf{L}\right)}^{-1}\mathbf{b}$
称$\mathbf{G}$为解$\mathbf{Ax}=\mathbf{b}$的Gauss-Seidel迭代法的迭代矩阵
$$\left(\mathbf{D}-\mathbf{L}\right){\mathbf{x}}^{(k+1)}=\mathbf{U}{\mathbf{x}}^{(k)}+\mathbf{b}$$
或者
$$\mathbf{D}{\mathbf{x}}^{(k+1)}=\mathbf{L}{\mathbf{x}}^{(k+1)}+\mathbf{U}{\mathbf{x}}^{(k)}+\mathbf{b}$$
即
$$a_{ii}{x}_i^{(k+1)}=b_i-\sum _{j=1}^{i-1}{a}_{ij}{x}_j^{(k+1)}-\sum _{j=i+1}^n{a}_{ij}{x}_j^{(k)},i=1,2,\cdots ,n$$
所以计算公式为
$$x_i^{(k+1)}=\frac{b_i-{\sum }_{j=1}^{i-1}{a}_{ij}{x}_j^{(k+1)}-{\sum }_{j=i+1}^n{a}_{ij}{x}_j^{(k)}}{a_{ii}}$$

收敛性

对角占优矩阵

（1）若$\mathbf{A}$为严格对角占优阵，则Gauss-Seidel迭代法收敛
（2）若$\mathbf{A}$为不可约弱对角占优矩阵，则Gauss-Seidel迭代法收敛
证明：
显然$a_{ii}\ne 0$
（1）设$\mathbf{A}$为严格对角占有矩阵
$\mathbf{G}={\left(\mathbf{D}-\mathbf{L}\right)}^{-1}\mathbf{U}$
$$\left|\lambda \mathbf{I}-\mathbf{G}\right|=\left|\lambda \mathbf{I}-{\left(\mathbf{D}-\mathbf{L}\right)}^{-1}\mathbf{U}\right|=\left|{\left(\mathbf{D}-\mathbf{L}\right)}^{-1}\right|\left|\lambda \left(\mathbf{D}-\mathbf{L}\right)-\mathbf{U}\right|$$
$\left|{\left(\mathbf{D}-\mathbf{L}\right)}^{-1}\right|\ne 0$
若$\left|\lambda \right|\ge 1$
令
$$\mathbf{C}=\lambda \left(\mathbf{D}-\mathbf{L}\right)-\mathbf{U}=\left(\begin{array}{cccc}\lambda a_{11}& a_{12}& \cdots & a_{1n}\\ \lambda a_{21}& \lambda a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& & ⋮\\ \lambda a_{n1}& \lambda a_{n2}& \cdots & \lambda a_{nn}\end{array}\right)$$
$$\begin{array}{rl}\left|c_{ii}\right|& =\left|\lambda \right|\left|a_{ii}\right|\\ & >\left|\lambda \right|\left(\sum _{j=1}^{i-1}\left|a_{ii}\right|+\sum _{j=i+1}^n\left|a_{ii}\right|\right)\\ & =\left|\lambda \right|\sum _{j=1}^{i-1}\left|a_{ii}\right|+\left|\lambda \right|\sum _{j=i+1}^n\left|a_{ii}\right|\\ & \ge \sum _{j=1}^{i-1}\left|\lambda a_{ii}\right|+\sum _{j=i+1}^n\left|a_{ii}\right|\\ & =\sum _{\genfrac{}{}{0ex}{}{j=1}{j\ne i}}^n\left|c_{ij}\right|\end{array}$$
所以$\mathbf{C}$也是对角占优矩阵，由对角占优定理，$\left|\lambda \left(\mathbf{D}-\mathbf{L}\right)-\mathbf{U}\right|=0$
所以$\left|\lambda \right|<1$，即$\rho \left(\mathbf{G}\right)<1$，收敛
（2）与上面的证明类似，也可以证明$\mathbf{C}$是不可约弱对角占优矩阵，然后就收敛了

对称正定

$\mathbf{A}$对称，若$\mathbf{A}\succ 0$，则收敛
证明：
$\mathbf{A}=\mathbf{D}-\mathbf{L}-{\mathbf{L}}^T$
$\mathbf{G}={\left(\mathbf{D}-\mathbf{L}\right)}^{-1}{\mathbf{L}}^T$
$${\left(\mathbf{D}-\mathbf{L}\right)}^{-1}{\mathbf{L}}^T\mathbf{x}=\lambda \mathbf{x}\Rightarrow {\mathbf{L}}^T\mathbf{x}=\lambda \left(\mathbf{D}-\mathbf{L}\right)\mathbf{x}\Rightarrow {\mathbf{x}}^T{\mathbf{L}}^T\mathbf{x}=\lambda {\mathbf{x}}^T\left(\mathbf{D}-\mathbf{L}\right)\mathbf{x}$$
$$\mathbf{A}\succ 0\Rightarrow p={\mathbf{x}}^T\mathbf{Dx}>0$$
令$a={\mathbf{x}}^T{\mathbf{L}}^T\mathbf{x}$
$${\mathbf{x}}^T\mathbf{Ax}={\mathbf{x}}^T\left(\mathbf{D}-\mathbf{L}-{\mathbf{L}}^T\right)\mathbf{x}=p-2a>0$$
$${\left(p-a\right)}^2=p^2-2ap+a^2=p\left(p-2a\right)+a^2$$
$$\lambda =\frac{{\mathbf{x}}^T{\mathbf{L}}^T\mathbf{x}}{{\mathbf{x}}^T\left(\mathbf{D}-\mathbf{L}\right)\mathbf{x}}=\frac{a}{p-a}$$
$${\lambda }^2=\frac{a^2}{p^2-2pa+a^2}=\frac{a^2}{p\left(p-2a\right)+a^2}<1$$
所以收敛

SOR迭代

$$\mathbf{M}=\frac{1}{\omega }\left(\mathbf{D}-\omega \mathbf{L}\right)$$
其中$\omega >0$为可选的松弛因子
$${\mathbf{L}}_{\omega }=\mathbf{I}-\omega {\left(\mathbf{D}-\omega \mathbf{L}\right)}^{-1}\mathbf{A}={\left(\mathbf{D}-\omega \mathbf{L}\right)}^{-1}\left(\left(1-\omega \right)\mathbf{D}+\omega \mathbf{U}\right)$$
迭代为
$${\mathbf{x}}^{(k+1)}={\mathbf{L}}_{\omega }{\mathbf{x}}^{(k)}+\mathbf{f}$$
其中${\mathbf{L}}_{\omega }={\left(\mathbf{D}-\omega \mathbf{L}\right)}^{-1}\left(\left(1-\omega \right)\mathbf{D}+\omega \mathbf{U}\right),\mathbf{f}=\omega {\left(\mathbf{D}-\omega \mathbf{L}\right)}^{-1}\mathbf{b}$

收敛条件

必要条件

若SOR迭代收敛，则$0<\omega <2$

证明：
$\rho \left(L_{\omega }\right)<1$
$$\left|\left|{\mathbf{L}}_{\omega }\right|\right|=\left|{\lambda }_1\cdots {\lambda }_n\right|\le {\left(\rho \left({\mathbf{L}}_{\omega }\right)\right)}^n$$
所以
$${\left|\left|{\mathbf{L}}_{\omega }\right|\right|}^{\frac{1}{n}}\le \rho \left(L_{\omega }\right)<1$$
$$\left|\left|{\mathbf{L}}_{\omega }\right|\right|=\left|\mathbf{D}-\omega \mathbf{L}\right|\left|\left(1-\omega \right)\mathbf{D}+\omega \mathbf{U}\right|=\prod _{i=1}^n\frac{1}{a_{ii}}\prod _{i=1}^n\left(1-\omega \right)a_{ii}={\left(1-\omega \right)}^n$$
从而
$${\left|\left|{\mathbf{L}}_{\omega }\right|\right|}^{\frac{1}{n}}=\left|1-\omega \right|\le \rho \left(L_{\omega }\right)<1\Rightarrow 0<\omega <2$$

充分条件1

如果$\mathbf{A}$对称正定，$0<\omega <2$，则收敛

充分条件2

如果$\mathbf{A}$为严格对角占优矩阵或弱对角占优不可约矩阵，$0<\omega \le 1$，则收敛

最佳松弛因子

$$\underset{0<\omega <2}{\min }\rho \left({\mathbf{L}}_{\omega }\right)=\rho \left({\mathbf{L}}_{{\omega }_{opt}}\right)$$
$${\omega }_{opt}=\frac{2}{1+\sqrt{1-\rho {\left(\mathbf{J}\right)}^2}}$$
其中$\mathbf{J}={\mathbf{D}}^{-1}\left(\mathbf{L}+\mathbf{U}\right)$

SSOR迭代法

$\mathbf{M}=\frac{1}{\omega \left(2-\omega \right)}\left(\mathbf{D}-\omega \mathbf{L}\right){\mathbf{D}}^{-1}\left(\mathbf{D}-\omega \mathbf{U}\right)$

参考：
数值分析 第五版 (李庆扬 王能超 易大义) (z-lib.org)
数值计算原理