数值分析笔记（七）

（求解线性方程组：$Ax=b$）

• 一、常用向量范数：

范数	表达式
$\infty$-范数	$\Vert x{\Vert }_{\infty }=max\mid x_i\mid$
$1$-范数	$\Vert x{\Vert }_1=\sum \mid x_i\mid$
$2$-范数	$\Vert x{\Vert }_2=\sqrt{(x,x)}=\sqrt{(\sum x_i^2)}$
$p$-范数	$\Vert x{\Vert }_p=\sqrt[p]{(\sum \mid x_i{\mid }^p)}$

---

• 二、常用矩阵范数：

范数	表达式
行范数	$\Vert A{\Vert }_{\infty }=max\mid a_{ij}\mid$
列范数	$\Vert A{\Vert }_1=ma{x}_{1\le j\le n}{\sum }_{i=1}^n\mid a_{ij}\mid$
$2$-范数	$\Vert A{\Vert }_2=\sqrt{{\lambda }_{max}(A^{T}A)}$，其中${\lambda }_{max}$指矩阵最大特征值

---

• 三、矩阵条件数：

设矩阵$A$的某范数为$||A|{|}_k$，则称$cond(A{)}_k=||A^{-1}|{|}_k||A|{|}_k$为$A$的$k$条件数

=> 条件数刻画了方程组的病态程度，因此常用来作为矩阵是否病态的判断

常用的条件数：
（1）$cond(A{)}_{\infty }=||A^{-1}|{|}_{\infty }||A|{|}_{\infty }$
（2）$cond(A{)}_2=||A^{-1}|{|}_2||A|{|}_2=\sqrt{\frac{{\lambda }_{max}(A^{T}A)}{{\lambda }_{min}(A^{T}A)}}$，特殊地，当A为对称矩阵时，$cond(A{)}_2=|\frac{{\lambda }_{max}(A)}{{\lambda }_{min}(A)}|$

---

• 四、$Gauss$消去法：

（求解线性方程组：$Ax=b$，通过对增广矩阵$(A,b)$进行初等矩阵变换）

步骤	操作
消元	通过矩阵初等行消法变换，将其化为上三角矩阵$A^{\prime }$（列向量$b$也需相应变换为$b^{\prime }$，且主对角线元$a_{kk}\ne 0$）
回代	从$A^{\prime }$第$n$行的一次方程$a_{nn}{x}_n=b_n$逐步回代，依次求解$x_n,x_{n-1},...,x_1$

=> $A^{\prime }$中主对角线元$a_{kk}\ne 0$的充要条件：$A$的各阶顺序主子式$D_k\ne 0$

=> 为了避免主对角线元素$a_{kk}$过小而导致在消元的过程中误差增大，可通过矩阵变换使得绝对值相对最大的元素作为主对角线元素（一般按列选取即可，即仅进行初等行交换变换）

---

• 五、$LU$分解法：

（$LU$分解定理：若$A$的各阶顺序主子式$D_k\ne 0$，则$A$可唯一分解为一个单位下三角矩阵$L$和一个上三角矩阵$U$的乘积的形式，即：$A=LU$）

（1）$Doolittle$分解：

步骤	操作
计算$U$和$L$	$u_{1j}=a_{1_j},l_{i1}=\frac{a_{i1}}{u_{11}}$ $u_{ij}=a_{ij}-{\sum }_{k=1}^{i-1}{l}_{ik}{u}_{kj}$ $l_{ij}=\frac{a_{ij}-{\sum }_{k=1}^{j-1}{l}_{ik}{u}_{kj}}{u_{jj}}$
求解$y$	$Ly=b$
求解$x$	$Ux=y$

（2）$Cholesky$分解：（针对对称正定矩阵的分解）
（对称矩阵三角分解定理：若n阶阵$A$的各阶顺序主子式$D_k\ne 0$，则$A$可唯一分解为单位下三角矩阵$L$和对角矩阵$D$的对称积的形式，即：$A=LD{L}^T$，t特殊地，当A同时为正定矩阵时，则$A$可唯一分解为一个实下三角矩阵$L$的对称积的形式，即：$A=L{L}^T$）

步骤	操作
计算$L$	$l_{jj}=\sqrt{a_{jj}-{\sum }_{k=1}^{j-1}{l}_{jk}^2}$ $l_{ij}=\frac{a_{ij}-{\sum }_{k=1}^{j-1}{l}_{ik}{l}_{jk}}{l_{jj}}$
求解$y$	$Ly=b$
求解$x$	$L^{T}x=y$

（3）追赶法：（针对对角占优的三对角矩阵的分解）
（同样利用$LU$分解，分解形式如下所示）
$$A=\left[\begin{array}{ccccc}{b}_1& c_1& & & \\ a_2& b_2& c_2& & \\ & ...& ...& ...& \\ & & a_{n-1}& b_{n-1}& c_{n-1}\\ & & & a_n& b_n\end{array}\right]=\left[\begin{array}{ccccc}{\alpha }_1& & & & \\ {\gamma }_2& {\alpha }_2& & & \\ & {\gamma }_3& {\alpha }_3& & \\ & ...& ...& & \\ & & & {\gamma }_n& {\alpha }_n\end{array}\right]\left[\begin{array}{ccccc}1& {\beta }_1& & & \\ & 1& {\beta }_2& & \\ & & ...& ...& \\ & & & 1& {\beta }_{n-1}\\ & & & & 1\end{array}\right]$$

步骤	操作
计算${\beta }_i$	${\beta }_1=\frac{c_1}{b_1}$ ${\beta }_i=\frac{c_i}{b_i-a_i{\beta }_{i-1}}$
求解$Ly=f$	$y_1=\frac{f_1}{b_1}$ $y_i=\frac{f_i-a_i{y}_{i-1}}{b_i-a_i{\beta }_{i-1}}$
求解$Ux=y$	$x_n=y_n$ $x_i=y_i-{\beta }_i{x}_{i+1}$

---

• 六、矩阵谱半径 / 迭代法收敛定理：

=> 迭代法收敛定理：设有迭代方程：$x=Bx+f$，则该方程对应的迭代法收敛的充要条件为$\rho (B)<1$，并称：$R(B)=-\ln \rho (B)$为迭代法的收敛速度

---

• 七、$Jacobi$迭代法：

  （求解线性方程组：$Ax=b$，将矩阵$A$分解成$A=D-L-U$，其中$D$是由A的所有主对角元组成的对角阵，$L$是由$A$的主对角线元以下的元素组成下三角矩阵，$U$是由$A$的主对角线元以上的元素组成上三角矩阵，得到迭代方程：$x=Bx+f$，逐次迭代可得）

  步骤	操作
  计算$B$	$B=D^{-1}(L+U)$
  计算$f$	$f=D^{-1}b$
  选取初始解向量	$x^{(0)}$
  迭代计算	$x^{(k+1)}=B{x}^{(k)}+f$

---

• 八、$Gauss-Seidel$迭代法：

  （求解线性方程组：$Ax=b$，将矩阵$A$分解成$A=D-L-U$，其中$D$是由A的所有主对角元组成的对角阵，$L$是由$A$的主对角线元以下的元素组成下三角矩阵，$U$是由$A$的主对角线元以上的元素组成上三角矩阵，得到迭代方程：$x=Gx+f$，逐次迭代可得）

  步骤	操作
  计算$G$	$G=(D-L{)}^{-1}U$
  计算$f$	$f=(D-L{)}^{-1}b$
  选取初始解向量	$x^{(0)}$
  迭代计算	$x^{(k+1)}=G{x}^{(k)}+f$

---

• 九、超松弛迭代法：

  （求解线性方程组：$Ax=b$，将矩阵$A$分解成$A=D-L-U$，其中$D$是由A的所有主对角元组成的对角阵，$L$是由$A$的主对角线元以下的元素组成下三角矩阵，$U$是由$A$的主对角线元以上的元素组成上三角矩阵，定义松弛因子$\omega$，得到迭代方程：$x=L_{\omega }x+f$，逐次迭代可得，此方法是解大型稀疏矩阵方程组的有效办法）

  步骤	操作
  计算$L_{\omega }$	$L_{\omega }=(D-\omega L{)}^{-1}[(1-\omega )D+\omega U]$
  计算$f$	$f=(D-\omega L{)}^{-1}\omega b$
  选取初始解向量	$x^{(0)}$
  迭代计算	$x^{(k+1)}=L_{\omega }{x}^{(k)}+f$

  => 超松弛迭代法收敛的必要条件：$0<\omega <2$
  => 超松弛迭代法收敛的充分条件：$0<\omega <2$且$A$为对称正定矩阵

---

---