15、线性系统求解方法：直接法与迭代法

线性系统求解方法：直接法与迭代法

1. 矩阵分解与相关公式

1.1 投影算子的矩阵分解

矩阵分解可以从投影算子的角度来呈现。秩为 1 的矩阵 ( P = vv^H ) ，其中向量 ( v ) 满足 ( |v|= 1 ) ，它是一个投影算子，能将向量投影到由向量 ( v ) 张成的一维子空间上。很容易证明 ( Px - x ) 与 ( x ) 正交，所以 ( P ) 也是正交投影算子。可酉对角化的矩阵可以表示为投影的加权和：
- ( P_n = v_nv_n^H )
- ( A = \sum_{n=1}^{N} \lambda_n P_n )

任何矩阵都可以通过奇异值分解（SVD）表示为 ( A = \sum_{n=1}^{N} s_nu_nv_n^H ) ，其中 ( s_n ) 是矩阵的奇异值， ( u_n ) 和 ( v_n ) 是一组相互正交的向量。

1.2 其他矩阵公式

若 ( A ) 是非奇异矩阵， ( v ) 和 ( w ) 是维数相称的向量，则有 ( (A + vw^H)^{-1} = A^{-1} - \frac{(A^{-1}v)(w^H A^{-1})}{1 + w^H A^{-1}v} ) 。这里 ( vw^H ) 是秩为 1 的矩阵，该公式给出了矩阵 ( A ) 的秩 1 扰动的逆。

2. 直接法与迭代法概述

2.1 直接法

求解线性系统 ( Ax = b ) 最直接的方法是构造矩阵的逆 ( A^{-1} ) ，可以通过计算 ( A ) 的子矩阵行列式的比值来实现。但这种方法计算效率极低，计算一个 ( N \times N