线性方程组的迭代解法

线性方程组的迭代解法

迭代法的基本流程

1. 将矩阵方程组$A\overline{x}=\overline{b}$等价改写成$\overline{x}=B\overline{x}+\overline{f}$
2. 得到迭代格式$\overline{x^{(k+1)}}=B\overline{x^{(k)}}+\overline{f}$
3. 得到迭代序列 { x ( k ) } \{x^{(k)}\} {x(k)}存在机型那么迭代序列收敛，且收敛值就是方程组的解

雅可比迭代法

$$\begin{gathered} x^{(k+1)}=D^{-1}(L+U)x^{(k)}+D^{-1}b \\ {x}_i^{(k+1)}=x_i^{(}k)+\frac{1}{a_{ii}}(b_i-\sum _{j=1}^n{a}_{ij}{x}_j^{(k)}) \\ D=diag(a_{11},a_{12},\cdots ,a_{nn}) \end{gathered}$$

$D$就是原系数矩阵只保持主对角元素
$$\begin{gathered} L=\left(\begin{array}{cccc}0& 0& \cdots & 0\\ -a_{21}& 0& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ -a_{n1}& -a_{n2}& \cdots & 0\end{array}\right) \\ U=\left(\begin{array}{cccc}0& -a_{21}& \cdots & -a_{1n}\\ 0& 0& \cdots & -a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 0\end{array}\right) \end{gathered}$$

高斯赛德尔迭代法

$$\begin{gathered} 迭代矩阵的基本形式{\overline{x}}^{(k+1)}=(D-L{)}^{-1}U{\overline{x}}^{(k)}+(D-L{)}^{-1}\overline{b} \\ {x}_n^{(k+1)}=\frac{1}{a_{nn}}(-a_{n1}{x}_1^{(k+1)}-a_{n2}{x}_2^{(k+1)}-\cdots -a_{nn-1}{x}_{n-1}^{k+1}+b_n) \end{gathered}$$

迭代法的收敛性

迭代法的改善

剩余向量$r$,修正向量$z$的基本定义
$$\begin{gathered} r=b-A\overline{x} \\ Az=r \end{gathered}$$

迭代步骤

1. $求出Ax=b的近似解x^{(1)}$

2. $求出修正向量z^{(1)},r^{(1)}=b-A{x}^{(1)},A{z}^{(1)}=r^{(1)}$

3. $将修正向量z^{(1)}带入x^{(1)}修正x^{(2)}=x^{(1)}+z$

重复2，3步骤直至精度达到要求

收敛的条件

已知$x$的迭代式$x^{(k+1)}=B{x}^{(k)}+f$

当迭代矩阵$B$满足${\lim }_{k\to 0}{B}^k=0$的时候迭代矩阵收敛

矩阵收敛极限

矩阵收敛定义

=>当矩阵$A$中的每个元素$a_{ij}$都满足${\lim }_{k\to \infty }{a}_{ij}^{(k)}=a_{ji}$，矩阵$A$收敛

矩阵收敛和范数之间的关系

=>当矩阵$A_k$收敛$A$那么他满足
$$\underset{k\to \infty }{\lim }||A_k-A||=0$$
​ ||A||表示任意的矩阵范数都成立，矩阵范数等价定理

谱半径$\rho$的定义和性质

谱半径:矩阵的谱半径为矩阵绝对值最大的特征根
$$\rho (A)=\underset{1\le i\le n}{\max }|{\lambda }_i|$$

矩阵极限等于0的充要条件

$$\rho (A)<1⟺\underset{k\to 0}{\lim }{A}^{(k)}=0$$

矩阵迭代收敛条件

$$\begin{gathered} \rho (B)<1 \\ 雅可比迭代法\rho (D^{-1}(L+U))<1 \\ 高斯赛德尔迭代法\rho ((D-L{)}^{-1}U)<1 \end{gathered}$$

$\rho (B)$越小收敛速度与越快

误差估计迭代法的收敛余项

已知：$||B||=q<1$

误差估计
$$

1. ||\overline{x}^{*-\overline{x}}{(k)}||\leq\frac{q}{1-q}||x^{(k+1)}-x{(k)}||
   \2. ||\overline{x}^{*-\overline{x}}{(k)}||\leq\frac{q^k}{1-q}||x{(1)}-x^{(0)}||
   $$

且$q$越小收敛速度越快

严格对角占优迭代矩阵收敛

对角占优

KaTeX parse error: Undefined control sequence: \ at position 119: …i}}^{n}|a_{ij}|\̲ ̲

对于对角线上的每个元素，都大于它所在行其余元素累加和

严格对角占优

若$A$严格对角占优，那么雅可比高斯赛德尔迭代矩阵收敛

主次超松弛迭代法

$$\begin{gathered} x_i^{(k+1)}=x_i^{(k)}+\omega \frac{r^{(k+1)}}{a_{ii}} \\ {r}_i^{(k+1)}=b_i-\sum _{j<i}{a}_{ij}{x}_j^{(k+1)}-\sum _{j\ge i}{a}_{ij}{x}_j^{(k)} \end{gathered}$$

其中
$$\begin{gathered} 低松弛迭代0<\omega <1 \\ 高斯赛德尔迭代\omega =1 \\ 超松弛迭代\omega >1 \end{gathered}$$
将逐步松弛迭代法写
$${\overline{x}}^{k+1}=(D-\omega L{)}^{-1}[(1-\omega )D+\omega U]{\overline{x}}^{(k)}+(D-\omega L^{-1})\omega \overline{b}$$
超松弛迭代法收敛

kahan必要条件

若A可逆，且$a_{ii}\ne 0$从任意${\overline{x}}^{(0)}$出发收敛=>$0<\omega <2$

充分条件

若A对称正定，且有$0<\omega <2$，则${\overline{x}}^{(0)}$出发，超松弛迭代法都收敛

最佳松弛因子

若A为对称正定三角矩阵，雅可比迭代法和高斯赛德尔迭代法都收敛，且超松弛迭代法的最佳松弛因子为
$$\omega =\frac{2}{1+\sqrt{1-[\rho (B){]}^2}}$$