数值分析基础应用线性代数

自乘终零矩阵

满足以下任一条件的称为自乘终零矩阵。自乘终零矩阵$B$都满足以下三条件。

• $B^k\to O(k\to +\infty )。$其中$O$是零矩阵。
• $\rho (B)<1$。即谱半径小于$1$。
• 至少存在一种从属矩阵范数，满足$||B|{|}_m<1$。称这个（或这些中的某一个）范数为钻石范数或命定范数。

谱半径夹范数定理（谱夹范定理）

对于所有范数，$\rho (A)\le ||A||$。

对于任意$\epsilon >0$，至少有一种矩阵范数满足$||A|{|}_m\le \rho (A)+\epsilon$。

对于所有范数，$||B^k|{|}^{\frac{1}{k}}\to \rho (B),k\to +\infty$。

序列终零第一定理

$$A^{(k)}\to O,k\to +\infty ⟺A^{(k)}\mathbf{x}\to 0,\forall \mathbf{x},k\to +\infty$$

注意序列终零不是自乘终零。当然，自乘序列终零也是序列终零。

范数乘自由定理（定义） 范数加自由定理（三角不等式，定义）

$$||AB||\le ||A||||B||$$$$||A+B||\le ||A||+||B||$$

迭代解线性方程组

对于$A\mathbf{x}=\mathbf{b}$，令$A=M-N$。其中$M$可逆。

则$(M-N)\mathbf{x}=\mathbf{b}$。$M\mathbf{x}=N\mathbf{x}+\mathbf{b}$。$\mathbf{x}=M^{-1}N\mathbf{x}+M^{-1}\mathbf{b}$。

令$B=M^{-1}N$，$\mathbf{f}=M^{-1}\mathbf{b}$。可以得到迭代形式${\mathbf{x}}^{(k+1)}=B{\mathbf{x}}^{(k)}+\mathbf{f}$。这属于单步定常迭代法。

要保证$M$可逆，一种简单的想法是让$M$就是$A$的对角部分，然后$N$是剩下的相反数。这种迭代法叫雅克比(Jacobi)迭代法。

实际上我们是一个一个算${\mathbf{x}}_i$的。如果算的时候已经算出${\mathbf{x}}_j^{(k+1)}$，那么要用${\mathbf{x}}_j^{(k)}$的时候就改成用这个新的值，这种迭代法叫Gauss-Seidel（高斯-赛德尔，简称GS）迭代法。不知道这个能优化多少，而且这个人显然不了解并行计算。

误差向量

设${\mathbf{x}}^{\ast }$是真正的解。记误差向量${\mathbf{e}}^{(k)}={\mathbf{x}}^{(k)}-{\mathbf{x}}^{\ast }$。那么收敛条件就是$${\mathbf{e}}^{(k)}\to 0,k\to +\infty$$注意这里是对任意的初始取值都要满足。即全局收敛。

而${\mathbf{e}}^{(k)}=B{\mathbf{x}}^{(k-1)}+\mathbf{f}-{\mathbf{x}}^{\ast }$。注意这里真正的解迭代之后依然是真正的解。
因此${\mathbf{e}}^{(k)}=B{\mathbf{x}}^{(k-1)}+\mathbf{f}-B{\mathbf{x}}^{\ast }-\mathbf{f}=B({\mathbf{x}}^{(k-1)}-{\mathbf{x}}^{\ast })=B{\mathbf{e}}^{(k-1)}。$也就是说新的误差向量就是上一个左乘$B$。

假设最开始取的x是${\mathbf{x}}^{(0）}$，对应的误差向量是${\mathbf{e}}^{(0)}$。那么${\mathbf{e}}^{(k)}=B^k{\mathbf{e}}^{(0)}$。这里的e0是任意的。

取矩阵序列为$B$的自乘序列，根据序列终零第一定理，收敛条件等价于$B$自乘终零。就是说$B$是自乘终零矩阵。$$迭代法收敛⟺迭代矩阵B是自乘终零矩阵$$

迭代误差估计第五定理

假设迭代法收敛，一个钻石范数为$||?||$，记$q=||B||$。则$q<1$。

那么${\mathbf{e}}^{(k)}=B{\mathbf{e}}^{(k-1)}=B({\mathbf{x}}^{(k-1)}-{\mathbf{x}}^{(k)}+{\mathbf{x}}^{(k)}-{\mathbf{x}}^{\ast })=B({\mathbf{x}}^{(k-1)}-{\mathbf{x}}^{(k)})+B{\mathbf{e}}^{(k)}$。

取范数有$||{\mathbf{e}}^{(k)}||\le ||B||\cdot ||{\mathbf{x}}^{(k-1)}-{\mathbf{x}}^{(k)}||+||B||\cdot ||{\mathbf{e}}^{(k)}||$。这是定理的第一部分。

继续，我们知道$||{\mathbf{x}}^{(k-1)}-{\mathbf{x}}^{(k)}||=||B({\mathbf{x}}^{(k-2)}-{\mathbf{x}}^{(k-1)})||\le ||B||\cdot ||{\mathbf{x}}^{(k-2)}-{\mathbf{x}}^{(k-1)}||\le ||B|{|}^2\cdot ||{\mathbf{x}}^{(k-3)}-{\mathbf{x}}^{(k-2)}||\le \cdots \le ||B|{|}^{k-1}\cdot ||{\mathbf{x}}^{(0)}-{\mathbf{x}}^{(1)}||$。那么上一行那个式子也有这个过程。

迭代误差估计第五定理描述为：假设迭代法收敛，一个钻石范数为$||?||$，记$q=||B||$。则$q<1$。则$$||{\mathbf{e}}^{(k)}||\le (1\$q)||{\mathbf{x}}^{(k)}-{\mathbf{x}}^{(k-1)}||$$$$||{\mathbf{e}}^{(k)}||\le \frac{q^k}{1-q}||{\mathbf{x}}^{(1)}-{\mathbf{x}}^{(0)}||$$我觉得这么总结最好：$$||{\mathbf{e}}^{(k)}||\le \frac{q}{1-q}||{\mathbf{x}}^{(k)}-{\mathbf{x}}^{(k-1)}||\le \frac{q^2}{1-q}||{\mathbf{x}}^{(k-1)}-{\mathbf{x}}^{(k-2)}||\le \cdots \le \frac{q^k}{1-q}||{\mathbf{x}}^{(1)}-{\mathbf{x}}^{(0)}||$$

在数值分析中这个定理的作用是，如果$q$不是很接近$1$，那么e（未知）可以用x的新旧之差来控制估计。但是$q$很接近$1$就不行。

平均收敛率 渐进收敛率

平均收敛率$R_k(B)\equiv -\ln ||B^k|{|}^{\frac{1}{k}}$。

渐进收敛率$R(B)\equiv -\ln \rho (B)$。

如果要求$k$次迭代后有$||{\mathbf{e}}^{(k)}||/||{\mathbf{e}}^{(0)}||\le \epsilon$，那么$$k\ge \frac{-\ln \epsilon }{R(B)}=\frac{2.303s}{R(B)}$$其中$2.303=\ln 10$，$s$是位数。比如如果要求$||{\mathbf{e}}^{(k)}||/||{\mathbf{e}}^{(0)}||\le 10^{-5}$，那$s$就是$5$。

Jacobi迭代法和GS迭代法

记$A=D-L-U$，其中$D$是对角部分，$L$、$U$是严格下、上三角部分的相反数。

如果对角元都是非0，那么D可逆。令$M=D$，$N=L+U$，这种方法称为Jacobi法（J法）。

同样如果D可逆，取$M=D-L$，$N=U$，那么$(D-L)\mathbf{x}=U\mathbf{x}+\mathbf{b}$。显然只要对角元非零下三角矩阵$D-L$就可逆（也可以说因为三角矩阵的行列式是对角元的乘积）。因此$\mathbf{x}=(D-L{)}^{-1}U\mathbf{x}+(D-L{)}^{-1}\mathbf{b}$，即$B=(D-L{)}^{-1}U$，$\mathbf{f}=(D-L{)}^{-1}\mathbf{b}$。这叫GS迭代法。

$B_G=(D-L{)}^{-1}(-A+D-L)=-(D-L{)}^{-1}A+I=I-(D-L{)}^{-1}A$。