【NA】迭代法的收敛性

• 在《基于不动点定理的迭代法》中介绍了Jacobi迭代法和Gauss-Seidel迭代法，但并没有提到迭代法最终收敛到 $x^{\ast }$ 的条件，这背后的数学原理就是不动点定理。

收敛充分条件.

• Jacobi迭代和Gauss-Seidel迭代公式都可以写为下面的形式$$x^{(k+1)}=H{x}^{(k)}+g\text{\hspace{1em}(*)}$$其中矩阵 $H$ 称为迭代矩阵，很容易就能想到，迭代法收敛性是和该收敛矩阵有关的。
• 【定理】若 $||H||<1$，则上述迭代公式 $(\ast )$ 对于任意的初始向量 $x^{(0)}$ 和 $g$ 都会收敛到不动点方程组 $x=Hx+g$ 的精确解 $x^{\ast }$，且有下述误差估计式$$||x^{(k)}-x^{\ast }||\le \frac{||H||}{1-||H||}||x^{(k)}-x^{(k-1)}||$$$$||x^{(k)}-x^{\ast }||\le \frac{||H|{|}^k}{1-||H||}||x^{(1)}-x^{(0)}||$$其中 $||●||$ 是某种算子范数。
• 【证明】不动点方程组 $x=Hx+g$ 可以写为 $(E-H)x=g$，当 $E-H$ 可逆时，上述方程组有唯一解 $x^{\ast }.$ 于是$$\begin{array}{rl}{x}^{(k+1)}-x^{\ast }& =H(x^{(k)}-x^{\ast })\\ & =H^2(x^{(k-1)}-x^{\ast })\\ & =\cdots \\ & =H^k(x^{(1)}-x^{\ast })\end{array}$$上式两边取范数，得到$$||x^{(k+1)}-x^{\ast }||\le ||H||\cdot ||x^{(k)}-x^{\ast }||$$$$||x^{(k+1)}-x^{\ast }||\le ||H^k||\cdot ||x^{(1)}-x^{(0)}||$$因为 $||H||<1$ 因此 $$li{m}_{k\to \infty }||x^{(k+1)}-x^{\ast }||=0$$等价于$$li{m}_{k\to \infty }{x}^{(k)}=x^{\ast }$$因此当 $||H||<1$ 时，迭代式 $x^{(k+1)}=H{x}^{(k)}+g$ 确实会收敛到不动点 $x^{\ast }.$
• 关于误差估计，由于$$x^{(k+1)}-x^{(k)}=H(x^{(k)}-x^{(k-1)})$$$$||x^{(k+1)}-x^{(k)}||=||(x^{\ast }-x^{(k)})-(x^{\ast }-x^{(k+1)})||$$分别根据乘积不等式和 $||x-y||\ge ||x||-||y||$，有$$||x^{(k+1)}-x^{(k)}||\le ||H||\cdot ||x^{(k)}-x^{(k-1)}||$$$$||x^{(k+1)}-x^{(k)}||\ge ||(x^{\ast }-x^{(k)})||-||(x^{\ast }-x^{(k+1)})|=(1-||H||)\cdot ||x^{(k)}-x^{\ast }||$$由于 $||H||<1$ 所以$$||x^{(k)}-x^{\ast }||\le \frac{1}{1-||H||}\cdot ||x^{(k+1)}-x^{(k)}||\le \frac{||H||}{1-||H||}\cdot ||x^{(k)}-x^{(k-1)}||$$反复使用此式即可得到$$||x^{(k)}-x^{\ast }||\le \frac{||H|{|}^k}{1-||H||}||x^{(1)}-x^{(0)}||$$
• 从该定理可以看出，$||H||<1$ 且其值越小，迭代法收敛的速度就越快。如果Jacobi和Gauss-Seidel迭代矩阵的任意一种算子范数 $||H||<1$，那么迭代会收敛到不动点 $x^{\ast }.$

---

• 最后需要提一下的是关于矩阵 $E-H$ 可逆，可以证明当 $||H||<1$ 时，矩阵 $E-H$ 可逆，并且 $E+H$ 也是可逆的(这里没有用到)。
• 【证明】假设 $E-H$ 是奇异矩阵(即不可逆)，那么齐次方程组 $(E-H)x=0$ 有非零解记为 $x^{\prime }$ 满足 $H{x}^{\prime }=x^{\prime }$，两边取范数得到 $||H{x}^{\prime }||=||x^{\prime }||\le ||H||\cdot ||x^{\prime }||$，因此可得 $||H||\ge 1$，矛盾产生，因此 $E-H$ 是非奇异矩阵，存在逆矩阵。

收敛充要条件.

• 回忆谱半径 $\rho (H)$ 的概念，$\rho (H)=max|{\lambda }_i|$ 并且 $\rho (H)\le ||H||$，可以证明 $\rho (H)<1$ 是迭代收敛的充要条件。
• 【定理】一般迭代法 $x^{(k+1)}=H{x}^{(k)}+g$ 对于任意初始向量 $x^{(0)}$ 及 $g$ 都收敛的充要条件是$$\rho (H)<1$$
• 【证明】根据矩阵Jordan标准型的知识可知，存在可逆矩阵 $P$ 使得 $H=PJ{P}^{-1}$，其中 $J$ 称为Jordan阵，形式如下：$$J=\left[\begin{array}{cccc}{J}_1& 0& \cdots & 0\\ 0& J_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & J_r\end{array}\right]\in R^{n\times n}$$$$J_i=\left[\begin{array}{ccccc}{\lambda }_i& 1& 0& \cdots & 0\\ 0& {\lambda }_i& 1& \cdots & 0\\ ⋮& ⋮& \ddots & \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_i& 1\\ 0& 0& \cdots & 0& {\lambda }_i\end{array}\right]\in R^{n_i\times n_i},\sum _{i=1}^r{n}_i=n$$这里Jordan阵的表示形式说明假设 $H$ 有 $r$ 个不同的特征值 ${\lambda }_i,i=1,2,..,r$，每个特征值 ${\lambda }_i$ 的重数是 $n_i$，因此$$H^k=(PJ{P}^{-1}{)}^k=P(J^k)P^{-1}$$因此$$H^k\to 0\iff J^k\to 0\iff J_i^k\to 0,i=1,2,...,r$$可以发现$$J_i^k=\left[\begin{array}{cccc}{\lambda }_i^k& C_k^1\cdot {\lambda }_i^{k-1}& \cdots & C_k^{n_i-1}\cdot {\lambda }_i^{k-(n_i-1)}\\ 0& {\lambda }_i^k& \cdots & C_k^{n_i-2}\cdot {\lambda }_i^{k-(n_i-2)}\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_i^k\end{array}\right],{\lambda }_i^k=C_k^0{\lambda }_i^{k-0}$$因此 J i k → 0 ⇔ ∣ λ i ∣ < 1 ⇔ m a x { ∣ λ i ∣ } < 1 , i = 1 , 2 , . . , r J_i^k\rightarrow0\Leftrightarrow |\lambda_i|<1\Leftrightarrow max\{|\lambda_i|\}<1,i=1,2,..,r Jik​→0⇔∣λi​∣<1⇔max{∣λi​∣}<1,i=1,2,..,r最终得到 H k → 0 ⇔ ρ ( H ) = m a x { ∣ λ i ∣ } < 1. H^k\rightarrow0\Leftrightarrow \rho(H)=max\{|\lambda_i|\}<1. Hk→0⇔ρ(H)=max{∣λi​∣}<1.

---

• 【Jordan标准型】定义如下：对任意一个 $n$ 阶方阵 $A$，一定存在可逆矩阵 $P$ 使得$$J=P^{-1}AP$$$$A=PJ{P}^{-1}$$其中矩阵 $J$ 的表示如上面给出。

Jacobi & Gauss-Seidel.

• 对于同一个线性方程组 $Ax=b$，上述两种迭代法的迭代矩阵并不相同，在《基于不动点定理的迭代法》曾给出过：$$H_J=E-D^{-1}A$$$$H_{GS}=-(D+L{)}^{-1}U$$因此他们的谱半径可能不同，导致同样的方程组可能使用Jacobi迭代法收敛，但Gauss-Seidel迭代法不收敛；或者相反乃至都不收敛。

对角占优.

• 设矩阵 $A\in R^{n\times n}$，其主对角线元素 $a_{ii}$ 满足$$|a_{ii}|>\sum _{j=1,j\ne i}^n|a_{ij}|$$也就是说对角线上的元素绝对值大于所在行其他所有元素绝对值之和，这样的矩阵称为按行严格对角占优矩阵。
• 【定理】按行严格对角占优矩阵是非奇异矩阵。
• 【证明】在《矩阵条件数》中给出过关于奇异、非奇异矩阵的性质：

【非奇异矩阵】首先对于一个矩阵，它必须首先是方阵才能讨论"奇异"这一概念。在此基础上，行列式 $|A|=0$ 的叫做奇异矩阵，其对应的方程组 $Ax=0$ 有无穷多组解，$Ax=b$ 无解或有无穷多组解；反之行列式不为零的叫做非奇异矩阵，对应方程组 $Ax=0$ 仅有一组零解，$Ax=b$ 有唯一解。

• 假设按行严格对角占优矩阵 $A$ 是奇异矩阵，那么对于齐次方程组 $Ax=0$ 它必有一个非零解 $x=(x_1,x_2,...,x_n{)}^T$，设 $x_k=max|x_i|$，考察齐次方程组中的第 $k$ 个方程$$\sum _{j=1}^n{a}_{kj}{x}_j=0$$必然有$$|a_{kk}\cdot x_k|=|\sum _{j=1,j\ne k}^n{a}_{kj}{x}_j|\le \sum _{j=1,j\ne k}^n|a_{kj}|\cdot |x_j|\le |x_k|\cdot \sum _{j=1,j\ne k}^n|a_{kj}|$$即$$|a_{kk}|\le \sum _{j=1,j\ne k}^n|a_{kj}|$$与假设中 $A$ 是按行严格对角占优矩阵矛盾，因此矩阵 $A$ 是非奇异矩阵。

定理一.

• 若线性方程组 $Ax=b$ 的系数矩阵为按行严格对角占优矩阵，那么Jacobi迭代法和Gauss-Seidel迭代法都收敛。
• 【证明】根据上述定理可知矩阵 $A$ 是非奇异矩阵，并且 $a_{ii}\ne 0.$由于$$|a_{ii}|>\sum _{j=1,j\ne i}^n|a_{ij}|,i=1,2,...,n$$所以$$\sum _{j=1,j\ne i}^n\left|\frac{a_{ij}}{a_{ii}}\right|<1,i=1,2,...,n$$令$$\mu =max\left\{\sum _{j=1,j\ne i}^n\left|\frac{a_{ij}}{a_{ii}}\right|\right\}<1$$将Jacobi迭代法中下述两等式组做差：$$\{\begin{array}{rl}& x_1=-\frac{1}{a_{11}}\left(a_{12}{x}_2+a_{13}{x}_3+\cdots +a_{1n}{x}_n-b_1\right)\\ & x_2=-\frac{1}{a_{22}}\left(a_{21}{x}_1+a_{23}{x}_3+\cdots +a_{2n}{x}_n-b_2\right)\\ & ⋮\\ & x_n=-\frac{1}{a_{nn}}\left(a_{n1}{x}_1+a_{n2}{x}_2+\cdots +a_{n(n-1)}{x}_{n-1}-b_n\right)\end{array}$$$$\{\begin{array}{rl}& x_1^{(k+1)}=-\frac{1}{a_{11}}\left(a_{12}{x}_2^{(k)}+a_{13}{x}_3^{(k)}+\cdots +a_{1n}{x}_n^{(k)}-b_1\right)\\ & x_2^{(k+1)}=-\frac{1}{a_{22}}\left(a_{21}{x}_1^{(k)}+a_{23}{x}_3^{(k)}+\cdots +a_{2n}{x}_n^{(k)}-b_2\right)\\ & ⋮\\ & x_n^{(k+1)}=-\frac{1}{a_{nn}}\left(a_{n1}{x}_1^{(k)}+a_{n2}{x}_2^{(k)}+\cdots +a_{n(n-1)}{x}_{n-1}^{(k)}-b_n\right)\end{array}$$得到$$x_i^{(k+1)}-x_i=\sum _{j=1,j\ne i}^n\frac{a_{ij}}{a_{ii}}(x_j^{(k)}-x_j),i=1,2,...,n$$对等式两边取范数得到 ∣ x i ( k + 1 ) − x i ∣ ≤ ( ∑ j = 1   ,   j ≠ i n ∣ a i j a i i ∣ ) ⋅ m a x { x j ( k ) − x j } |x^{(k+1)}_i-x_i|≤\left(\sum^n_{j=1~,~j≠i}\left|\frac{a_{ij}}{a_{ii}}\right|\right)·max\{x^{(k)}_j-x_j\} ∣xi(k+1)​−xi​∣≤⎝⎛​j=1 , j​=i∑n​∣∣∣∣​aii​aij​​∣∣∣∣​⎠⎞​⋅max{xj(k)​−xj​}记 q k = m a x { x j ( k ) − x j } q_k=max\{x^{(k)}_j-x_j\} qk​=max{xj(k)​−xj​}上述不等式可以写为$$|x_i^{(k+1)}-x_i|\le \mu \cdot q_k,i=1,2,...,n$$即 m a x { x j ( k + 1 ) − x j } = q k + 1 ≤ μ ⋅ q k max\{x^{(k+1)}_j-x_j\}=q_{k+1}≤\mu·q_k max{xj(k+1)​−xj​}=qk+1​≤μ⋅qk​递推下去得到$$q_k\le {\mu }^k\cdot q_0$$因为 $\mu <1$，因此 $$li{m}_{k\to \infty }{q}_k=0\iff li{m}_{k\to \infty }{x}_i^{(k)}=x_i,i=1,2,...,n$$
• 至此，Jacobi迭代法在系数矩阵 $A$ 为按行严格对角占优阵情况下的收敛性得证。

---

• Gauss-Seidel迭代矩阵$$H_{GS}=-(D+L{)}^{-1}U$$考虑$$det(\lambda I-H_{GS})=det[(D+L{)}^{-1}]\cdot det[\lambda (D+L)+U]=0$$因为 $D+L$ 是可逆矩阵，所以$$det[\lambda (D+L)+U]=0$$其中$$\lambda (D+L)+U=\left[\begin{array}{cccc}\lambda \cdot a_{11}& a_{12}& \cdots & a_{1n}\\ \lambda \cdot a_{21}& \lambda \cdot a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ \lambda \cdot a_{n1}& \lambda \cdot a_{n2}& \cdots & \lambda \cdot a_{nn}\end{array}\right]=M$$考虑 $|\lambda |\ge 1$ 的情况以及系数矩阵 $A$ 是对角占优矩阵$$|m_{ii}|=|\lambda \cdot a_{ii}|>\sum _{j=1}^{i-1}|\lambda \cdot a_{ij}|+\sum _{j=i+1}^n|\lambda \cdot a_{ij}|\ge \sum _{j=1}^{i-1}|\lambda \cdot a_{ij}|+\sum _{j=i+1}^n|a_{ij}|=\sum _{j=1,j\ne i}^n|m_{ij}|$$此时 $M$ 为对角占优矩阵，显然 $det(M)\ne 0$，所以迭代矩阵 $H_{GS}$ 的特征值一定满足 m a x { ∣ λ ∣ } < 1 max\{|\lambda|\}<1 max{∣λ∣}<1，即$$\rho (H_{GS})<1$$因此Gauss-Seidel迭代法收敛。

---

• 关于按行严格对角占优矩阵对角元 $a_{ii}\ne 0$ 这一点很容易说明，如果有一个对角元为0，那么显然所有非对角元的绝对值和不可能比0还小。$$0=|a_{ii}|>\sum _{j=1,j\ne i}^n|a_{ij}|$$

定理二.

• 若线性方程组 $Ax=b$ 的系数矩阵为正定矩阵，那么Gauss-Seidel迭代法收敛。
• 【证明】见此关于SOR迭代法正定阵收敛性证明。

定理三.

• 若线性方程组 $Ax=b$ 的系数矩阵 $A$ 以及矩阵 $2D-A$ 都是正定矩阵，那么Jacobi迭代法收敛(充要条件)。其中 D = d i a g { a 11 , a 22 , . . . , a n n } . D=diag\{a_{11},a_{22},...,a_{nn}\}. D=diag{a11​,a22​,...,ann​}.
• 【证明】充分性$$H_J=D^{-1}(L+U)=D^{-\frac{1}{2}}(I-D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}})D^{\frac{1}{2}}$$说明迭代矩阵 $H_J$ 和矩阵 $I-D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}$ 是相似矩阵，有相同的特征值。由于系数矩阵 $A$ 是正定矩阵，$a_{ii}>0$，因此 $D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}$ 也是正定矩阵，其特征值皆为正数，即$$\exists {\lambda }^{\prime }>0,det({\lambda }^{\prime }I-D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}})=0$$所以$$det[\lambda I-(I-D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}})]=det[(\lambda -1)I+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}]=det[(1-\lambda )I-D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}]$$不难得到 $$\lambda =1-{\lambda }^{\prime }<1$$相似地$$H_J=D^{-1}(D-A)=D^{-\frac{1}{2}}(D^{-\frac{1}{2}}(2D-A)D^{-\frac{1}{2}}-I)D^{\frac{1}{2}}$$由于 $2D-A$ 也是正定矩阵，因此 $D^{-\frac{1}{2}}(2D-A)D^{-\frac{1}{2}}$ 也是正定矩阵，其特征值皆为正数，即$$\exists {\lambda }^{\prime \prime }>0,det({\lambda }^{\prime \prime }I-D^{-\frac{1}{2}}(2D-A)D^{-\frac{1}{2}})=0$$所以$$det[\lambda I-(D^{-\frac{1}{2}}(2D-A)D^{-\frac{1}{2}}-I)]=det[(\lambda +1)I-D^{-\frac{1}{2}}(2D-A)D^{-\frac{1}{2}}]$$不难得到$$\lambda ={\lambda }^{\prime \prime }+1>0$$因此 ρ ( H J ) = m a x { λ } < 1 \rho(H_J)=max\{\lambda\}<1 ρ(HJ​)=max{λ}<1即Jacobi迭代法收敛。
• 必要性由上述证明倒推即可。