计算方法（三）：线性方程组的解法

线性方程组的解法

高斯消元法与选主元技巧

基本思想：通过初等行变换，将一个方程乘以某个常数，一个方程加上另一个方程的常数倍等，减少方程中的未知数数目，最后化成三角形方程组，从而得到所需要的解。

三角形方程组及其解法

上三角形方程组：
$$\{\begin{array}{l}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1\\ a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2\\ \cdots \cdots \\ a_{nn}{x}_n=b_n\end{array}$$

用回代的方法求解：先从第n个方程求出 $x_n$，代入第n-1个方程求出 $x_{n-1}$，依次类推，可求出所有的 $x_i$：
$$\begin{gathered} \{\begin{array}{l}{x}_n=\frac{b_n}{a_{nn}}\\ x_i=\frac{b_i-{\sum }_{j=i+1}^n{a}_{ij}{x}_j}{a_{ii}}\end{array} \\ 要求a_{ii}^{(i)}\ne 0 \end{gathered}$$
类似的，下三角形方程组：
$$\{\begin{array}{l}{a}_{11}{x}_1=b_1\\ a_{21}{x}_1+a_{22}{x}_2=b_2\\ \cdots \cdots \\ a_{n1}{x}_1+a_{n2}{x}_2+\cdots +a_{nn}{x}_n=b_n\end{array}$$
用前代的方法求解：先从第1个方程求出 $x_1$，代入第2个方程求出 $x_2$，依次类推，可求出所有的 $x_i$：
$$\{\begin{array}{l}{x}_1=\frac{b_1}{a_{11}}\\ x_i=\frac{b_i-{\sum }_{j=1}^{i-1}{a}_{ij}{x}_j}{a_{ii}}\end{array}$$
回代法和前代法的计算量都是 $\frac{1}{2}n(n+1)$ 次乘除运算。

高斯消元法

高斯消元法分为两大步：消元和回代

（1）将系数矩阵A经过一系列的初等行变换变成右上三角矩阵，其常向量b也同时作相应变换，即
$$\left[\begin{array}{ccccc}{a}_{11}& a_{12}& \cdots & a_{1n}& b_1\\ a_{21}& a_{22}& \cdots & a_{2n}& b_2\\ ⋮& ⋮& & ⋮& \\ a_{n1}& a_{n2}& \cdots & a_{nn}& b_n\end{array}\right]=\left[\begin{array}{ccccc}{a}_{11}^{(1)}& a_{12}^{(1)}& \cdots & a_{1n}^{(1)}& b_1^{(1)}\\ a_{21}^{(1)}& a_{22}^{(1)}& \cdots & a_{2n}^{(1)}& b_2^{(1)}\\ ⋮& ⋮& & ⋮& \\ a_{n1}^{(1)}& a_{n2}^{(1)}& \cdots & a_{nn}^{(1)}& b_n^{(1)}\end{array}\right]\to \left[\begin{array}{ccccc}{a}_{11}^{(1)}& a_{12}^{(1)}& \cdots & a_{1n}^{(1)}& b_1^{(1)}\\ 0& a_{22}^{(2)}& \cdots & a_{2n}^{(2)}& b_2^{(2)}\\ ⋮& ⋮& & ⋮& \\ 0& a_{n2}^{(2)}& \cdots & a_{nn}^{(2)}& b_n^{(2)}\end{array}\right]=\left[\begin{array}{cc}{A}^{(2)}& b^{(2)}\end{array}\right]$$
其中第i行加上第1行的 $-m_{i1}$ 倍
$$\begin{gathered} m_{i1}=\frac{a_{i1}^{(1)}}{a_{11}^{(1)}} \\ {a}_{ij}^{(2)}=a_{ij}^{(1)}-m_{i1}{a}_{1j}^{(1)} \\ {b}_i^{(2)}=b_i^{(1)}-m_{i1}{b}_1^{(1)} \end{gathered}$$
对 $A^{(2)}x=b^{(2)}$ 再进行消元可得
$$\left[\begin{array}{cc}{A}^{(3)}& b^{(3)}\end{array}\right]=\left[\begin{array}{cccccc}{a}_{11}^{(1)}& a_{12}^{(1)}& a_{13}^{(1)}& \cdots & a_{1n}^{(1)}& b_1^{(1)}\\ 0& a_{22}^{(2)}& a_{23}^{(2)}& \cdots & a_{2n}^{(2)}& b_2^{(2)}\\ 0& 0& a_{33}^{(3)}& \cdots & a_{3n}^{(3)}& b_3^{(3)}\\ ⋮& ⋮& ⋮& & ⋮& ⋮\\ 0& 0& a_{n3}^{(3)}& \cdots & a_{nn}^{(3)}& b_n^{(3)}\end{array}\right]$$
其中第i行加上第2行的 $-m_{i2}$ 倍
$$\begin{gathered} m_{i2}=\frac{a_{i2}^{(2)}}{a_{22}^{(2)}} \\ {a}_{ij}^{(3)}=a_{ij}^{(2)}-m_{i2}{a}_{2j}^{(2)} \\ {b}_i^{(3)}=b_i^{(2)}-m_{i2}{b}_2^{(2)} \end{gathered}$$
重复上述过程，第k次消元时：
$$\begin{gathered} m_{ik}=\frac{a_{ik}^{(k)}}{a_{kk}^{(k)}} \\ {a}_{ij}^{(k+1)}=a_{ij}^{(k)}-m_{ik}{a}_{kj}^{(k)} \\ {b}_i^{(k+1)}=b_i^{(k)}-m_{ik}{b}_k^{(k)} \end{gathered}$$
得到与 $Ax=b$ 同解的方程组：$A^{(k+1)}x=b^{(k+1)},k=1,2,\cdots ,n-1$

保证高斯消元法顺利进行的条件：各次主元素 $a_{ii}^{(i)}\ne 0$，主元 $a_{ii}^{(i)}\ne 0$ 的充要条件是主子矩阵 $A_i\ne 0$ 非奇异。

定理1：设 $A=[a_{ij}^{(k)}]\in R^{n\times n},b=(b_1^{(1)},b_2^{(1)},\cdots ,b_n^{(1)})\in R$。若约化主元 $a_{kk}^{(k)}\ne 0$，则可通过高斯消元法将方程组 $Ax=b$ 约化求解，计算公式如下：

（1）消元计算
$$\begin{gathered} m_{ik}=\frac{a_{ik}^{(k)}}{a_{kk}^{(k)}} \\ {a}_{ij}^{(k+1)}=a_{ij}^{(k)}-m_{ik}{a}_{kj}^{(k)} \\ {b}_i^{(k+1)}=b_i^{(k)}-m_{ik}{b}_k^{(k)} \end{gathered}$$
（2）回代求解
$$\{\begin{array}{l}{x}_n=b_n^{(n)}/a_{nn}^{(n)}\\ x_i=(b_i^{(i)}-{\sum }_{j=i+1}^n{a}_{ij}^{(i)}{x}_j)/a_{ii}^{(i)}\end{array}$$

高斯消元法算法分析：

（1）算法的时间复杂度：共需乘除法运算的总数为
$$S=\frac{1}{3}{n}^3+n^2-\frac{1}{3}n=O(n^3)$$
（2）算法的空间复杂度：符合原地工作的原则。

（3）数值计算的稳定性：当 $|a_{kk}^{(k)}|=0$ ，运算会中断，即使不等于0，但当 $|a_{kk}^{(k)}|$ 很小时，一方面会损失精度，另一方面还可能导致商太大使计算产生溢出。所以，高斯消元法对数值计算是不稳定的。

列主元消元法

列主元的思想是： 当变换到第k步时，从第k列 $a_{kk}^{(k)}$ 及以下的各元素中选取绝对值最大者，然后通过行变换将它交换到主元素 $a_{kk}^{(k)}$ 的位置（k,k）上。即选取 $a_{i_{k}k}^{(k)}$，满足：$|a_{i_{k}k}^{(k)}|=ma{x}_{k\le i\le n}|a_{ik}^{(k)}|$，进行 $k$ 行与 $i_k$ 行互换。

采用列主元的高斯消元法是不影响求解结果的。

但列主元不能保证当前的主元素是同一行（即第k行）中的绝对值最大者，其计算过程还是不稳定的，不适于求解大规模的线性方程组。

全选主元（简称全主元） ：基本思想是当变换到第k步时，从系数矩阵右下角（n-k-1）阶矩阵中选取绝对值最大的元素，通过行、列变换将它交换到主元素 $a_{kk}^{(k)}$ 的位置（k，k）上。

虽然行交换不影响最后求解的结果，但列交换将会导致最后结果（即解向量）中对应未知数的次序混乱。 必须在选主元过程中记住所进行的一切列交换，以便对最后结果进行恢复。

三角分解法

基本思想：将 $A$ 分解成两个三角形矩阵 $L、U$ 的乘积 $A=LU$ ，线性方程组 $Ax=b$ 归结为
$$\{\begin{array}{l}Ly=b\\ Ux=y\end{array}$$
这两个方程可以通过前代法和回代法求解。

矩阵的三角分解

常用的矩阵三角分解形式：$A=LU$，称为矩阵 $A$ 的 $LU$ 分解。若 $L$ 是单位下三角阵，$U$ 是上三角阵，称为杜利特尔分解；若 $L$ 是下三角阵，$U$ 是单位上三角阵，则称为克劳特分解。

从高斯消元法过程可知，高斯消元法就是对系数矩阵 $A$ 左乘n-1个初等单位下三角矩阵：$A^{(k+1)}=L_k{A}^{(k)},k=1,2,\cdots ,n-1$，$m_{ik}=\frac{a_{ik}^{(k)}}{a_{kk}^{(k)}},a_{kk}^{(k)}\ne 0,i=k+1,k+2,\cdots ,n$。
$$L_k=\left[\begin{array}{cccccc}1& & & & & \\ & \ddots & & & & \\ & & 1& & & \\ & & -m_{k+1,k}& 1& & \\ & & ⋮& & \ddots & \\ & & -m_{nk}& & & 1\end{array}\right]k=1,2,\cdots ,n-1$$
得：
$$\begin{gathered} A^{(n)}=L_{n-1}{L}_{n-2}\cdots L_{1}A \\ {b}^{(n)}=L_{n-1}{L}_{n-2}\cdots L_{1}b \\ A=(L_1^{-1}{L}_2^{-1}\cdots L_{n-1}^{-1})A^{(n)}=LU \end{gathered}$$

其中
$$\begin{gathered} \{\begin{array}{l}L=L_1^{-1}{L}_2^{-1}\cdots L_{n-1}^{-1}\\ U=A^{(n)}\end{array} \\ {L}_k^{-1}=\left[\begin{array}{cccccc}1& & & & & \\ & \ddots & & & & \\ & & 1& & & \\ & & m_{k+1,k}& 1& & \\ & & ⋮& & \ddots & \\ & & m_{nk}& & & 1\end{array}\right] \\ L=\left[\begin{array}{cccccc}1& & & & & \\ m_{21}& 1& & & & \\ m_{31}& m_{32}& \ddots & & & \\ ⋮& ⋮& \ddots & 1& & \\ m_{n1}& m_{n2}& & m_{n,n-1}& 1& \end{array}\right] \\ U=A^{(n)}=\left[\begin{array}{cccc}{a}_{11}^{(1)}& a_{12}^{(1)}& \cdots & a_{1n}^{(1)}\\ 0& a_{22}^{(2)}& \cdots & a_{2n}^{(2)}\\ ⋮& ⋮& & ⋮\\ 0& 0& \cdots & a_{nn}^{(n)}\end{array}\right] \end{gathered}$$
上述的LU分解，被称为杜利特尔（Doolittle）分解。

定理2（矩阵三角分解基本定理）：设 $A\in R^{n\times n}$，若 $A$ 的顺序主子式 $det(A_k)\ne 0$，则存在唯一的杜利特尔分解：$A=LU$，其中 $L$ 为单位下三角形矩阵，$U$ 为非奇异的上三角形矩阵。

证明：由定理1和：
$$det(A_k)=\left|\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1k}\\ a_{21}& a_{22}& \cdots & a_{2k}\\ ⋮& ⋮& & ⋮\\ a_{k1}& a_{k2}& \cdots & a_{kk}\end{array}\right|=a_{11}^{(1)}{a}_{22}^{(2)}\cdots a_{kk}^{(k)}，a_{kk}^{(k)}\ne 0$$
可知杜利特尔分解的存在性。

唯一性： 若 $A$ 存在两个杜利特尔分解：$A=L_1{U}_1,A=L_2{U}_2$，则 $L_1{U}_1=L_2{U}_2,L_2^{-1}{L}_1=U_2{U}_1^{-1}$，由于 $L_2^{-1}{L}_1$ 是单位上三角形矩阵，可知
$$L_2^{-1}{L}_1=U_2{U}_1^{-1}=I$$
所以，$L_1=L_2,U_1=U_2$，得唯一性。

（矩阵形式）杜利特尔分解法

设实矩阵 $A$ 的各阶主子式 $det(A_j)\ne 0$，则由定理2知，存在唯一的杜利特尔分解：$A=LU$

其中
$$L=\left[\begin{array}{ccccc}1& & & & \\ l_{21}& 1& & & \\ l_{31}& l_{32}& 1& & \\ ⋮& ⋮& \ddots & \ddots & \\ l_{n1}& l_{n2}& \cdots & l_{n,n-1}& 1\end{array}\right],U=\left[\begin{array}{ccccc}{u}_{11}& u_{12}& u_{13}& \cdots & u_{1n}\\ & u_{22}& u_{23}& \cdots & u_{2n}\\ & & u_{33}& \cdots & u_{3n}\\ & & & \ddots & ⋮\\ & & & & u_{nn}\end{array}\right]$$
由矩阵相等的条件可得：

（1）由 $a_{1i}=u_{1i}$，得：$u_{1i}=a_{1i}(i=1,2,\cdots ,n)$。由 $a_{i1}=l_{i1}{u}_{11}$，得：$l_{i1}=a_{i1}/u_{11}(i=2,3,\cdots ,n)$。

（2）由 $a_{2i}=l_{21}{u}_{1i}+u_{2i}$，得：$u_{2i}=a_{2i}-l_{21}{u}_{1i}(1=2,3,\cdots ,n)$。由 $a_{i2}=l_{i1}{u}_{12}+l_{i2}{u}_{22}$，得：$l_{i2}=(a_{i2}-l_{i1}{u}_{12})/u_{22}(i=3,4,\cdots ,n)$。

（3）在求出 $U$ 的前k-1行与 $L$ 的前k-1列后，$U$ 的k行、$L$ 的k列元为：
$$\begin{gathered} u_{ki}=a_{ki}-\sum _{j=1}^{k-1}{l}_{kj}{u}_{ji}(i=k,k+1,\cdots ,n) \\ {l}_{ik}=(a_{ik}-\sum _{j=1}^{k-1}{l}_{ij}{u}_{jk})/u_{kk}(i=k+1,k+2,\cdots ,n) \end{gathered}$$
杜利特尔分解的紧凑格式：定义Q：
$$Q=L+U-I=\left[\begin{array}{cccccc}{u}_{11}& u_{12}& \cdots & u_{1k}& \cdots & u_{1n}\\ l_{21}& u_{22}& \cdots & u_{2k}& \cdots & u_{2n}\\ ⋮& ⋮& & ⋮& & ⋮\\ l_{k1}& l_{k2}& \cdots & u_{kk}& \cdots & u_{kn}\\ ⋮& ⋮& & ⋮& & ⋮\\ l_{n1}& l_{n2}& \cdots & l_{nk}& \cdots & n_{nn}\end{array}\right]$$
只要求出Q矩阵，便可得到矩阵 $A$ 的三角分解 $LU$。

步骤(重要)：$a_{ik}/a_{kk}\to a_{ik},i=k+1,k+2,\cdots ,n,a_{ij}-a_{ik}{a}_{kj}\to a_{ij},i=k+1,\cdots ,n,j=k+1,\cdots ,n$

之后用：$LY=b,UX=Y$，解方程组。

解三对角线方程组的追赶法

$$A=\left[\begin{array}{ccccccc}{a}_{11}& a_{12}& & & & & \\ a_{21}& a_{22}& a_{23}& & 0& & \\ & a_{32}& a_{33}& a_{34}& & & \\ & & \ddots & \ddots & \ddots & & \\ & & 0& a_{n-1,n-2}& a_{n-1,n-1}& a_{n-1,n}& \\ & & & & a_{n,n-1}& a_{nn}& \end{array}\right]$$

称线性方程组 $Ax=b$ 为三对角线方程组。

若 $A$ 满足：
$$\{\begin{array}{l}|a_{11}|>|a_{12}|>0\\ |a_{ii}|\ge |a_{i,i-1}|+|a_{i,i+1}|>0,i=2,3,\cdots ,n-1\\ |a_{nn}|>|a_{n,n-1}|>0\end{array}$$

则称 $Ax=b$ 为对角占优的三对角线方程组。

设 $Ax=b$ 进行LU分解：$A=LU$：
$$L=\left[\begin{array}{ccccc}1& & & & \\ l_{21}& 1& & & \\ 0& l_{32}& 1& & \\ ⋮& \ddots & \ddots & \ddots & \\ 0& \cdots & 0& l_{n,n-1}& 1\end{array}\right],U=\left[\begin{array}{ccccc}{u}_{11}& a_{12}& 0& \cdots & 0\\ & u_{22}& a_{23}& \cdots & 0\\ & & \ddots & \ddots & \\ & & & u_{n-1,n-1}& a_{n-1,n}\\ & & & & u_{nn}\end{array}\right]$$
由矩阵乘法和矩阵相等得
$$\{\begin{array}{l}{u}_{11}=a_{11}\\ l_{i,i-1}=a_{i,i-1}/u_{i-1,i-1}\\ u_{ii}=a_{ii}-l_{i,i-1}{a}_{i-1,i}\end{array}(i=2,3,\cdots ,n)$$
得到LU分解之后，就可通过方程组
$$\begin{gathered} Ly=b \\ Ux=y \end{gathered}$$
得到线性方程组的解
$$\{\begin{array}{l}{y}_1=b_1\\ y_i=b_i-l_{i,i-1}{y}_{i-1}\\ i=2,3,\cdots ,n\end{array}\{\begin{array}{l}{x}_n=y_n/u_{nn}\\ x_i=(y_i-a_{i,i+1}\ast x_{i+1})/u_{ii}i=n-1,n-2,\cdots ,1\end{array}$$
上述方法通常称为 “追赶法”。“追”的过程要做4(n-1)次乘除法，“赶”的过程需要做n次乘除法，总计算量：5n-4。

追赶法本质上是没有选主元的高斯消元法，对一般的三对角方程组来说“追赶法”的计算过程是不稳定的。但当三对角方程组中的系数矩阵满足严格对角占优时，“追赶法”不会出现中间结果数量级的巨大增长和舍入误差的严重积累。

解对称正定矩阵方程组的平方根法

平方根法又称楚列斯基（Cholesky）分解法。

定理3：设 $A\in R^{n\times n}$ 是对称正定矩阵，则存在唯一分解（称为楚列斯基分解）：
$$A=\tilde{L}{\tilde{L}}^T$$
其中 $\tilde{L}$ 是对角元为正的下三角阵：
$$\tilde{L}=\left[\begin{array}{cccc}{l}_{11}& & & \\ l_{21}& l_{22}& & \\ ⋮& ⋮& \ddots & \\ l_{n1}& l_{n2}& \cdots & l_{nn}\end{array}\right]$$

用待定系数法确定 $l_{ij}:a_{ij}={\sum }_{p=1}^j{l}_{ip}{l}_{jp},1\le j\le i\le n$

由 $a_{11}=l_{11}^2$，得 $l_{11}=\sqrt{a_{11}}$

由 $a_{i1}=l_{11}{l}_{i1}$，得 $l_{i1}=a_{i1}/l_{11},i=1,2,\cdots ,n$

假设已算出 $L$ 的前j-1列元素，由 $a_{jj}={\sum }_{k=1}^j{l}_{jk}^2$

得 $l_{jj}=(a_{jj}-{\sum }_{k=1}^{j-1}{l}_{jk}^2{)}^{1/2}$

再由 $a_{ij}={\sum }_{k=1}^{j-1}{l}_{ik}{l}_{jk}+l_{ij}{l}_{jj}$

得 $l_{ij}=(a_{ij}-{\sum }_{k=1}^{j-1}{l}_{ik}{l}_{jk})/l_{jj},i=j+1,\cdots ,n;j\ne n$

可求出所有的 $l_{ij}$。

向量和矩阵的范数

向量的范数

范数是对函数、向量和矩阵定义的一种度量形式，任何对象的范数值都是一个非负整数。向量范数是度量向量长度的一种定义形式。

定义1：对任一向量 $x\in C^n$，称实数 $N(x)=||x||$ 为向量 $x$ 的范数。||·||满足下列关系式：

1. 正定性（非负性）：$\forall x\in C^n,||x||\ge 0,且||x||=0\Leftarrow \Rightarrow x=0$
2. 齐次性：$\forall x\in C^n和\alpha \in C,有||\alpha x||=|\alpha |\cdot ||x||$
3. 三角不等式：$\forall x,y\in C^n,||x+y||\le ||x||+||y||$

几个常用的向量范数：

1. $||x|{|}_1={\sum }_{j=1}^n|x_j|$
2. $||x|{|}_2=({\sum }_{j=1}^n|x_j{|}^2{)}^{\frac{1}{2}}$
3. $||x|{|}_{\infty }=ma{x}_{1\le j\le n}|x_j|$

分别称为向量 $x$ 的1范数、2范数和 $\infty$ 范数，更一般的，称：$||x|{|}_p=({\sum }_{j=1}^n|x_j{|}^p{)}^{\frac{1}{p}}$ 为p范数。

矩阵的范数

定义2：对任一矩阵 $A\in C^{n\times n}$，称实数 $N(A)=||A||$ 为矩阵 $A$ 的范数。||·||满足下列关系式：

1. 正定性（非负性）：$\forall A\in C^{n\times n},||A||\ge 0,且||A||=0\Leftarrow \Rightarrow A=0$
2. 齐次性：$\forall A\in C^{n\times n}和\alpha \in C,有||\alpha A||=|\alpha |\cdot ||A||$
3. 三角不等式：$\forall A,B\in C^{n\times n},||A+B||\le ||A||+||B||$
4. 矩阵乘法不等式：$\forall A,B\in C^{n\times n},||AB||\le ||A||\cdot ||B||$

矩阵、向量乘法的相容性：$||Ax||\le ||A||\cdot ||x||$

称 $||A|{|}_r=ma{x}_{x\ne 0}\frac{||Ax|{|}_r}{||x|{|}_r}$ 为从属于向量的范数，或称为由向量范数导出的范数，满足矩阵、向量乘法的相容性：$||Ax|{|}_r\le ||A|{|}_r\cdot ||x|{|}_r$

几个常用的矩阵范数：

1. $||A|{|}_1=ma{x}_{1\le j\le n}{\sum }_{i=1}^n|a_{ij}|$
2. $||A|{|}_2=[{\lambda }_{max}(A^{T}A){]}^{1/2}$，${\lambda }_{max}(\cdot )$ 是矩阵的最大特征值
3. $||A|{|}_{\infty }=ma{x}_{1\le i\le n}{\sum }_{j=1}^n|a_{ij}|$
4. $||A|{|}_F=({\sum }_{i=1}^n{\sum }_{j=1}^n|a_{ij}{|}^2{)}^{1/2}$

分别称为矩阵A的1范数（列模）、2范数（谱模）、$\infty$范数（行模）和F范数。

迭代法

求解线性方程组：$Ax=b$，其中A为非奇异矩阵，b为n元非零向量，将其等价地转化为方程组 $x=Bx+f$。

选取初始向量 $x^{(0)}=(x_1^{(0)},x_2^{(0)},\cdots ,x_n^{(0)}{)}^T$，则可构造迭代法：
$$x^{(k+1)}=B{x}^{(k)}+f$$
得到迭代向量序列 { x ( k ) } \{x^{(k)}\} {x(k)}，其中 $x^{(k)}=(x_1^{(k)},x_2^{(k)},\cdots ,x_n^{(k)}{)}^T$。若 $x^{(k)}$ 收敛于 $x^{\ast }$，则：$x^{\ast }=B{x}^{\ast }+f$。$x^{\ast }$就是方程组的解，称B为迭代矩阵。若迭代序列收敛，则称迭代法收敛，否则发散。

雅可比迭代法

将A分解为：
$$A=D-L-U$$
其中：$D=diag(a_{11},a_{22},\cdots ,a_{nn})$，
$$L=\left[\begin{array}{ccccc}0& & & & \\ -a_{21}& 0& & & \\ -a_{31}& -a_{32}& 0& & \\ ⋮& ⋮& \ddots & & \\ -a_{n1}& -a_{n2}& \cdots & a_{n,n-1}& 0\end{array}\right]U=\left[\begin{array}{ccccc}0& -a_{12}& -a_{13}& \cdots & -a_{1n}\\ & 0& -a_{23}& \cdots & -a_{2n}\\ & & \ddots & \ddots & ⋮\\ & & & 0& -a_{n-1,n}\\ & & & & 0\end{array}\right]$$
$Ax=b\to (D-L-U)x=b\to Dx=(L+U)x+b$，可得雅可比迭代公式：
$$x^{(k+1)}=B_J{x}^{(k)}+f_J,k=0,1,2,\cdots$$
其中雅可比迭代矩阵 $B_J=D^{-1}(L+U),f_J=D^{-1}b$

雅可比迭代公式的分量形式：
$$x_i^{(k+1)}=\frac{1}{a_{ii}}(b_i-\sum _{j=1,j\ne i}^n{a}_{ij}{x}_j^{(k)})$$

高斯-赛德尔迭代法

由 $(D-L)x=Ux+b$，可得高斯-赛德尔（Gauss-Seidel）迭代公式：
$$x^{(k+1)}=B_G{x}^{(k)}+f_G,k=0,1,2,\cdots$$
其中高斯-赛德尔矩阵 $B_G=(D-L{)}^{-1}U,f_G=(D-L{)}^{-1}b$

高斯-赛德尔迭代公式的分量形式：
$$x_i^{(k+1)}=\frac{1}{a_{ii}}(b_i-\sum _{j=1}^{i-1}{a}_{ij}{x}_j^{(k+1)}-\sum _{j=i+1}^n{a}_{ij}{x}_j^{(k)})$$
J迭代法与G-S迭代法的收敛范围并不重合，只是部分相交。 也就是说，可能有J迭代法收敛而G-S迭代法发散的情形发生，G-S迭代法并不是总比J迭代法收敛。在都收敛的情况下，也不能保证G-S迭代法比J迭代法收敛快。

迭代收敛条件与误差估计

定义3：设矩阵 $A\in C^{n\times n}$ 的特征值为 ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$，称
$$\rho (A)=ma{x}_{1\le j\le n}|{\lambda }_j|$$
为 $A$ 的谱半径。

定理4：矩阵 $A$ 的谱半径不大于矩阵 $A$ 的任一算子范数 $||A|{|}_r$ 。

证明：若 $\lambda$ 是矩阵 $A$ 的特征值（即存在非零向量 $x$ 使得：$Ax=\lambda x$），则
$$\begin{gathered} |\lambda |\cdot ||x|{|}_r=||\lambda x|{|}_r=||Ax|{|}_r\le ||A|{|}_r\cdot ||x|{|}_r \\ |\lambda |\le ||A|{|}_r \\ 所以，\rho (A)\le ||A|{|}_r \end{gathered}$$

由于矩阵范数计算要比矩阵谱半径计算简单得多，所以常用矩阵范数来估计矩阵特征值的上界。

迭代公式收敛的充要条件：

定理8：迭代公式 $x^{(k+1)}=B{x}^{(k)}+f$ 对任何初始向量 $x^{(0)}$ 都收敛的充要条件是 $\rho (B)<1$；收敛时，$\rho (B)$ 越小，则收敛速度越快。

证明：$x^{\ast }$ 为方程的解，$x^{\ast }=B{x}^{\ast }+f$，有 $x^{(k)}-x^{\ast }=B(x^{(k-1)}-x^{\ast })=B^k(x^{(0)}-x^{\ast }),k=1,2,\cdots$。所以，迭代公式对任何初始向量 $x^{(0)}$ 都收敛的充要条件是 $B^k\to 0,k\to \infty$，即 $\rho (B)<1$。

若存在矩阵范数 $||\cdot |{|}_r$，使得 $||B|{|}_r<1$则由 $\rho (B)\le ||B|{|}_r$知，迭代法收敛。

迭代法收敛的充分条件：

定理5：若迭代过程 $x^{(k+1)}=B{x}^{(k)}+f$ 中迭代矩阵 $B$ 满足 $||B|{|}_r=q<1$，则

1. 对任意初始向量 $x^{(0)}$，该迭代过程均收敛于方程 $x=Bx+f$ 的唯一解 $x^{\ast }$
2. $||x^{\ast }-x^{(k)}|{|}_r\le \frac{1}{1-q}||x^{(k+1)}-x^{(k)}|{|}_r$
3. $||x^{\ast }-x^{(k)}|{|}_r\le \frac{q^k}{1-q}||x^{(1)}-x^{(0)}|{|}_r$

证明：1.：由 $|\lambda |\le \rho (B)\le ||B|{|}_r=q<1$，得 $det(I-B)\ne 0$，故方程 $(I-B)x=f$ 有唯一解 $x^{\ast }$。

又 $x^{\ast }-x^{(k+1)}=(B{x}^{\ast }+f)-(B{x}^{(k)}+f)=B(x^{\ast }-x^{(k)})$，得
$$\begin{gathered} ||x^{\ast }-x^{(k+1)}|{|}_r\le ||B|{|}_r||x^{\ast }-x^{(k)}|{|}_r=q||x^{\ast }-x^{(k)}|{|}_r \\ 0\le ||x^{\ast }-x^{(k)}|{|}_r\le q^k||x^{\ast }-x^{(0)}|{|}_r \\ 得li{m}_{k\to \infty }||x^{\ast }-x^{(k)}|{|}_r=0 \\ 从而,li{m}_{k\to \infty }{x}^{(k)}=x^{\ast } \end{gathered}$$
2.:$||x^{(k+1)}-x^{(k)}|{|}_r=||(x^{\ast }-x^{(k)})-(x^{\ast }-x^{(k+1)})|{|}_r\ge ||x^{\ast }-x^{(k)}|{|}_r-||x^{\ast }-x^{(k+1)}|{|}_r\ge ||x^{\ast }-x^{(k)}|{|}_r-q||x^{\ast }-x^{(k)}|{|}_r=(1-q)||x^{\ast }-x^{(k)}|{|}_r$

即得：
$$||x^{\ast }-x^{(k)}|{|}_r\le \frac{1}{1-q}||x^{(k+1)}-x^{(k)}|{|}_r$$
3.:$||x^{(k+1)}-x^{(k)}|{|}_r=||B{x}^{(k)}+f-B{x}^{(k-1)}-f|{|}_r=||B{x}^{(k)}-B{x}^{(k-1)}|{|}_r=q||x^{(k)}-x^{(k-1)}|{|}_r=q^k||x^{(1)}-x^{(0)}|{|}_r$

即得：
$$||x^{\ast }-x^{(k)}|{|}_r\le \frac{q^k}{1-q}||x^{(1)}-x^{(0)}|{|}_r$$

雅可比迭代法与高斯-赛德尔迭代法收敛的充分条件:

定理6：若 $Ax=b$ 的系数矩阵 $A=(a_{ij}{)}_{n\times n}$ 按行或列严格对角占优，即
$$\begin{gathered} |a_{jj}|>\sum _{j=1,j\ne i}^n|a_{ij}|,i=1,2,\cdots ,n \\ 或:|a_{jj}|>\sum _{i=1,i\ne j}^n|a_{ij}|,j=1,2,\cdots ,n \end{gathered}$$
则方程组有唯一解，且对于任意初始向量，雅可比迭代法和高斯-赛德尔迭代法都收敛。

定理7：若 $Ax=b$ 的系数矩阵 $A=(a_{ij}{)}_{n\times n}$ 为对称正定矩阵，则对任意初始向量，高斯-赛德尔迭代法收敛。

逐次超松弛（SOR）迭代法

逐次超松驰（SOR）迭代法实际上是对高斯-赛德尔迭代法的加权平均，即：
$$\begin{gathered} x_i^{(k+1)}=(1-\omega )x_i^{(k)}+\omega {\tilde{x}}_i^{(k+1)},i=1,2,\cdots ,n \\ 其中{\tilde{x}}_i^{(k+1)}为高斯-赛德尔的迭代解:{\tilde{x}}_i^{(k+1)}=\frac{1}{a_{ii}}(b_i-\sum _{j=1}^{i-1}{a}_{ij}{x}_j^{(k+1)}-\sum _{j=i+1}^n{a}_{ij}{x}_j^{(k)}) \end{gathered}$$
矩阵形式：
$$\begin{gathered} x^{(k+1)}=B_{\omega }{x}^{(k)}+f_{\omega },k=0,1,2,\cdots \\ 其中SOR迭代矩阵：B_{\omega }=(D-\omega L{)}^{-1}[(1-\omega )D+\omega U],f_{\omega }=\omega (D-\omega L{)}^{-1}b \end{gathered}$$
由于 $det(B_{\omega })=det(D-\omega L{)}^{-1}\cdot det[(1-\omega )D+\omega U]=\frac{1}{a_{11}{a}_{22}\cdots a_{nn}}\cdot (1-\omega {)}^n{a}_{11}{a}_{22}\cdots a_{nn}=(1-\omega {)}^n$，得 ${\lambda }_1{\lambda }_2\cdots {\lambda }_n=det(B_{\omega })=(1-\omega {)}^n，|1-\omega {|}^n=|{\lambda }_1{\lambda }_2\cdots {\lambda }_n|\le (\rho (B_{\omega }){)}^n$，所以有：

定理9:：若 $Ax=b$ 的系数矩阵主对角线上元 $a_{ii}\ne 0$，则SOR法收敛的必要条件是 $0<\omega <2$。

但并不是充分条件：也就是，当 $0<\omega <2$ 时，并不能保证SOR迭代法一定收敛。

实际应用中，可以根据系数矩阵𝐴的性质以及计算的经验来选定合适的松驰因子 $\omega$，以加快收敛的速度。

定理10：若系数矩阵 $A$ 是实对称正定矩阵，且松弛因子 $0<\omega <2$，则对任意初始向量，SOR迭代法收敛。

定理11：若系数矩阵 $A$ 为弱对角占优矩阵，且为不可约矩阵，则雅可比迭代法、高斯-赛德尔迭代法均收敛。

定理12：若系数矩阵 $A$ 为严格对角占优矩阵（或为弱对角占优不可约矩阵），且 $0<\omega \le 1$，则SOR迭代法收敛。

定义4：（收敛速度）称 $R(B)=-ln\rho (B)$ 为迭代法的收敛速度，其中 $B$ 为迭代矩阵。

方程组的状态与解的迭代改善

如果在 $Ax=b$ 中的初始数据 $A,b$ 有一个小的扰动，对解的结果有什么影响？

方程组的状态与矩阵的条件数

初始数据 $A,b$ 的微小变化引起了解的很大变化，称这样的方程组为病态方程组。

1. $b$ 有一个扰动 $\delta b$

   设相应方程组的解为 $\tilde{x}(\tilde{x}=x+\delta x)$，其中 $x$ 为 $Ax=b$ 的精确解。即 $A\tilde{x}=b+\delta b$，或 $A(x+\delta x)=b+\delta b$，$A\delta x=\delta b，\delta x=A^{-1}\delta b$，得
   $$||\delta x||=||A^{-1}\delta b||\le ||A^{-1}||\cdot ||\delta b||$$
   而 $||b||=||Ax||\le ||A||\cdot ||x||$，即 $\frac{1}{||x||}\le \frac{||A||}{||b||}$。

   所以
   $$\frac{||\delta x||}{||x||}\le ||A^{-1}||\cdot ||A||\frac{||\delta b||}{||b||}$$
   即：解的相对误差不超过向量 $b$ 的相对误差的 $||A^{-1}||\cdot ||A||$ 倍。

2. $A$ 有一个扰动 $\delta A$ （设 $A+\delta A$ 仍可逆）

   设相应方程组的解为 $\tilde{x}(\tilde{x}=x+\delta x)$，其中 $x$ 为 $Ax=b$ 的精确解。即 $(A+\delta A)\tilde{x}=b$，或 $(A+\delta A)(x+\delta x)=b$，$\delta A(x+\delta x)+A\delta x=0,\delta x=-A^{-1}\delta A(x+\delta x)$，得
   $$||\delta x||\le ||A^{-1}||\cdot ||\delta A||\cdot ||x+\delta x||$$
   所以
   $$\frac{||\delta x||}{||x+\delta x||}\le ||A^{-1}||\cdot ||A||\frac{||\delta A||}{||A||}$$
   即：解的相对误差不超过系数矩阵相对误差的 $||A^{-1}||\cdot ||A||$ 倍。

这表明： 量 $||A^{-1}||\cdot ||A||$ 反映了方程组 $Ax=b$ 的解对初始数据 $A,b$ 扰动的灵敏度，从而可以用来刻画方程组的

病态程度。称 $||A^{-1}||\cdot ||A||$ 为矩阵 $A$ 的条件数，记作Cond(𝐴)或 𝜅(𝐴)，即
$$Cond(A)=||A^{-1}||\cdot ||A||$$
条件数与所取的矩阵范数有关，常用的有：
$$\begin{gathered} Con{d}_{\infty }(A)=||A^{-1}|{|}_{\infty }\cdot ||A|{|}_{\infty } \\ Con{d}_2(A)=||A^{-1}|{|}_2\cdot ||A|{|}_2=\sqrt{\frac{{\lambda }_{max(A^{T}A)}}{{\lambda }_{min(A^{T}A)}}} \end{gathered}$$
其中 $Con{d}_2(A)$ 为谱条件数。

定义5：设 $A$ 是非奇异矩阵，若 $Cond(A)\gg 1$，则称方程组 $Ax=b$ 为病态方程组；若 $Cond(A)$ 相对较小，则称方程组 $Ax=b$ 为良态方程组。

方程组可能出现病态的情况：

（1）用选主元消元法消元过程中出现小主元；

（2）系数行列式的绝对值相对很小；

（3）系数矩阵元素间在数量级上相差很大且无一定规律；

（4）出现了相对很大的解。

方程组近似解可靠性判别法

定理13： 设 $x^{\ast }$ 是方程组 $Ax=b$（$A$ 非奇异且 $b\ne 0$）的精确解。若 $\tilde{x}$ 是该方程组的近似解，其残余向量 $r=b-A\tilde{x}$，则有
$$\frac{||x^{\ast }-\tilde{x}||}{||x^{\ast }||}\le Cond(A)\frac{||r||}{||b||}$$
证明：由 $x^{\ast }-\tilde{x}=A^{-1}b-\tilde{x}=A^{-1}r$ 知：$||x^{\ast }-\tilde{x}||\le ||A^{-1}||\cdot ||r||$。又由 $b=A{x}^{\ast }$ 有 $||b||\le ||A||\cdot ||x^{\ast }||$，由 $A$ 非奇异且 $b\ne 0$，得 $x^{\ast }\ne 0$，故可得：
$$\frac{||1||}{||x^{\ast }||}\le \frac{||A||}{||b||}$$
所以
$$\frac{||x^{\ast }-\tilde{x}||}{||x^{\ast }||}\le Cond(A)\frac{||r||}{||b||}$$
近似解 $\tilde{x}$ 的精度不仅依赖于残余向量 $r$ 的大小，而且还依赖于矩阵 $A$ 的条件数。所以，对于病态方程组，即使 $r$ 很小，也不能保证 $\tilde{x}$ 的可靠性。

近似解的迭代改善法

设用某种方法得到方程 $Ax=b$（$A$ 非奇异且 $b\ne 0$）的某个近似解 $\tilde{x}=x^{(1)}$ 后，若 $x^{(1)}$ 未达到精度要求，可采用以下方法：

误差的改进： 如果数值解的精度太低，可用如下方法改进：

1. 计算残差 $r^{(1)}=b-A{x}^{(1)}$（用双精度计算）。
2. 用列主元消元法解方程组 $Ax=r^{(1)}$，得到近似解 $d^{(1)}$。
3. 用 $d^{(1)}$ 修正 $x^{(1)}$，得到 $Ax=b$ 的新近似值 $x^{(2)}=x^{(1)}+d^{(1)}$。
4. 计算 $e=\frac{||d^{(1)}|{|}_{\infty }}{||x^{(1)}|{|}_{\infty }}$，若 $e<\epsilon$（$\epsilon$ 为精度控制常数），则取 $x^{\ast }\approx x^{(2)}$；否则视 $x^{(2)}$ 为 $x^{(1)}$，重复上述过程，直到满足条件 $e<\epsilon$。

预条件处理方法

对于病态方程组 $Ax=b$，$A$ 的条件数 $Cond(A)$ 比较大，为此，寻找可逆矩阵（一般为对角矩阵）$P,Q$，使得 $Cond(PAQ)<Cond(A)$，将 $Ax=b$ 转化为 $PAQ(Q^{-1}x)=Pb$。