线性方程组的类型及求解（一）（备份草稿）

本专题总结和归纳了本学期笔者所学的《矩阵理论》和《数值分析》课程中，可以用来求解线性方程组的方法和技巧。由于篇幅有限，不得不一分为二，本文涉及相容线性方程组的解法，而不相容线性方程组的解法可参见《线性方程组的类型及求解》（二）。
目录
预备工作
一. Gramer法则
二. 高斯消元法
三. 矩阵分解法

1. 三角分解
   1.1 形式一：满秩方阵 1.1.1 QR分解； 1.1.2 LU分解； 1.1.3 Cholesky分解
   1.2 形式二: 行满秩矩阵 1.2.1 QR分解； 1.2.2 LU分解
   1.3 形式三: 列满秩矩阵 1.3.1 QR分解； 1.3.2 LU分解
   1.4 形式四: 任意矩阵 1.4.1 QR分解
   四. 迭代解法
2. 迭代思想
   1.1 不动点迭代法 1.1.1 迭代格式； 1.1.2 收敛性； 1.1.3 收敛速度
   1.2 牛顿迭代法 1.2.1 迭代格式； 1.2.2 收敛性； 1.2.3 收敛速度； 1.2.4 变形
   1.3 Gauss–Newton迭代法
3. Jacobi迭代法 2.1 迭代格式； 2.2 收敛性； 2.3 终止准则
4. Gauss-Seidel迭代法 3.1 迭代格式； 3.2 收敛性； 3.3 终止准则
5. SOR迭代法 4.1 迭代格式； 4.2 收敛性；
6. 最速下降法
   五. 最小二乘解法 1. 模型； 2. 定理； 3. 应用场景
   六. 广义逆解法
   七. 附录
7. 矩阵分解
8. 向量与矩阵的范数
9. 特征值的估计

预备工作：
（1）线性方程组类型的判断：首先我们要先判断出待解线性方程组是相容的还是不相容的；
一个方程组若至少存在一个解能够严格满足该方程组，则称为相容方程组（充要条件： rank([A,b])=rank(A) ）；无解的方程组称为不相容方程组；方程个数多于未知数个数的方程组称为超定方程组。

（2）解的存在性判断：对于相容的线性方程组，我们在解线性方程组之前，一定要先判断其存在性，否则倘若该线性方程组无解，那么我们后面所尝试的一切，都是徒劳和浪费生命！判断一个线性a方程组是否有解的方法如下： 对于 Ax=b ，如果 rank[A]<rank[A,b] ，则线性方程组无解；如果 rank[A]=rank[A,b]=n ，则线性方程组有唯一解；如果 rank[A]=rank[A,b]<n ，则线性方程组有无穷多个解。（待解决问题0:对于非齐次和齐次的情况，有什么区别呢？）
首先，我们来复习一下相容线性方程组的解法。
一. Gramer法则
设 n 阶矩阵 A 可逆，则线性方程组 Ax=b 有唯一解 x^T=(x_1,x_2,…,x_n) ，其中 x_i=\frac{detA_i}{detA}(i=1,2,…,n) 。
二. 高斯消元法
此处不再赘述，在接下来的1.1.2的分解方法2中有复习到，高斯消元法的本质可以看成是LU分解。
三. 矩阵分解法
矩阵分解是将一个矩阵分解为比较简单的或具有某种特性的若干矩阵的和或乘积。矩阵分解一方面可以反映原矩阵的某些数值特征，另一方面其分解方法与过程往往为某些有效的数值计算方法和理论分析提供了重要的依据，因而使其对分解矩阵的讨论和计算带来了极大的方便。在这里，我们主要运用矩阵分解来有效地进行线性方程组的求解运算。

1. 三角分解
   思路：首先将待求解的线性方程组抽象成 Ax=b 的形式。比如矩阵 A 能够被分解为 A=UR ，那么可以将原问题转化为 URx=b ，即 Rx=U^Hb 。由于 R 是一个上三角矩阵，则我们可以很容易地先求解出最后一行的 x_n ；然后借助x_n代入倒数第二行，求解出 x_{n-1} ；继续借助 x_n 、 x_{n-1} 代入倒数第三行，求解出倒 x_{n-2} ，以此类推。（话说三角分解应该还可以用数组来存储和还原稀疏矩阵，极大降低了空间占用，这应该是也是它的一个应用吧）
   分解方法的选择：为了让读者直观地感受我们为什么可以用三角分解来简化线性方程组的求解，上述只列举了诸多三角分解方法中的一种。那么问题来了，给定一个线性方程组，我们抽象成 Ax=b 的形式后，该怎么选择合适的三角分解方法呢？答案是：首先判断矩阵 A 的秩，得出它的形式，然后再继续判断它的一些结构特征。
   1.1 形式一: 满秩方阵（ A\in \mathbb{C}n^{n \times n}或 A\in \mathbb{R}n^{n \times n} )
   1.1.1 QR分解
   分解形式：若A\in \mathbb{C}n^{n \times n}（A\in \mathbb{R}n^{n \times n}），则可以唯一地分解为 A=UR 或 A=LU（ A=QR 或 A=LQ ）。
   U 是酉矩阵， Q是正交矩阵，R 是正线上三角复（实）矩阵， L 是正线下三角复（实）矩阵。（注意：上（下）三角矩阵、正线上（下）三角复（实）矩阵和单位上（下）三角复（实）矩阵的定义）
   在这里首先就要注意： L 的意思是lower， U 的意思是upper。
   分解方法：
   分解矩阵 A 为 A=UR （A=QR）：
   （1）首先对 A 进行列分块，得列分块向量 (\alpha_1,\alpha_2,…,\alpha_n) ；
   （2）对列分块向量施密特正交化，得到正交向量 (\beta_1,\beta_2,…,\beta_n) ；
   \beta_1=\frac{\alpha_1}{||\alpha_1||} ， \beta_2=\frac{\alpha_2-(\alpha_2,\beta_1)\beta_1}{||\alpha_2-(\alpha_2,\beta_1)\beta_1||} ， \beta_3=\frac{\alpha_3-(\alpha_3,\beta_1)\beta_1-(\alpha_3,\beta_2)\beta_2}{||\alpha_3-(\alpha_3,\beta_1)\beta_1-(\alpha_3,\beta_2)\beta_2||} ， … ， \beta_i=\frac{\alpha_i-\sum{j=1}^{{i-1}(\alpha_i,\beta_j)\beta_j}{||\alpha_i-\sum_{j=1}}{i-1}(\alpha_i,\beta_j)\beta_j||} 。
   （3）令系数 k{ij} 和 k{ii} ，用正交向量表示列分块向量，得出 U ( Q )和 R 。
   \left{ \begin{array}{1} k{ij}=(\alpha_i,\beta_j) \quad i=2,3,…,n;j=1,2,…,i-1\ k_{ii}=\left{\begin{array}{1}||a_{ij}|| \quad i=1 \ ||a_i-\sum_{j=1}^{i-1}(\alpha_i,\beta_j)\beta_j|| \quad i=2,3,…,n \end{array}\right. \end{array} \right. ，
   A=(\alpha_1,\alpha_2,…,\alpha_n)=(k_{11}\beta_1,k_{21}\beta_1+k_{22}\beta_2,…,k_{n1}\beta_1+k_{n2}\beta_2+…+k_{nn}\beta_n)\=(\beta_1,\beta_2,…,\beta_n) \begin{Bmatrix} k_{11} &k_{21}&…&k_{n1}\ 0 &k_{22} &…&k_{n2}\ &…\ 0 &0 &… &k_{nn} \end{Bmatrix}
   （A=LU 或 A=LQ分解方法类似，即一开始进行行分块，此处不再赘述）（待解决问题1：如何深刻理解施密特正交化，而非硬记公式）
   例如：求 A=\begin{pmatrix}1&0&2\1&1&0\1&2&3 \end{pmatrix} 的QR分解，结果为
   \begin{pmatrix} \sqrt{3}/3 &-\sqrt{2}/2&\sqrt{6}/6\ \sqrt{3}/3 &0 &-\sqrt{6}/3\ \sqrt{3}/3 &\sqrt{2}/2 &\sqrt{6}/6 \end{pmatrix} \begin{pmatrix} \sqrt{3}&\sqrt{3}&5\sqrt{3}/3\ 0&\sqrt{2}&\sqrt{2}/2\ 0&0&5\sqrt{6}/6 \end{pmatrix}
   1.1.2 LU分解（ A 的各阶顺序主子式的行列式均不为零）
   分解形式：若A\in \mathbb{C}n^{n \times n}(\mathbb{R}n^{n \times n})，且 A 的各阶顺序主子式行列式不为零，则可以唯一地分解为 A=LR^*=LR=L^*DR （都要求主对角线上元素不为0）。（待解决问题2：证明这4个命题相互等价）
   R 为上三角复（实）矩阵， L 为下三角复（实）矩阵， R^* 为单位上三角复（实）矩阵， L^* 为单位下三角复（实）矩阵， D 为对角矩阵
   分解方法1（待定系数法）：
   分解矩阵 \begin{pmatrix} 2&4&4&2 \3&3&12&6\2&4&-1&2\4&2&1&1 \end{pmatrix} 为 L^*R ：
   （1）写出含待定系数的分解形式