线性方程组的类型及求解（二）（备份草稿）

续《线性方程组的类型及求解》（一）。接着，我们再来复习一下不相容线性方程组（超定方程组）的解法。
五. 最小二乘解法
当方程组不相容时，我们可以寻求次佳(next-best)解。

1. 模型
   将原不相容方程组 Ax\neq b 转换为正规方程组 A^TAx=ATb 。
   首先构造原不相容方程组的最小二乘解 argmin_{x}|Ax-b|_2^2 ，从而将原问题转换为求残差二范数最小的优化问题（注意此处用 argmin 是因为即便在 f(x) 后带上常数，但关心的最小值点不变，二如果使用 min 则会改变最小值）； 再令 f(x)=(Ax-b)^T(Ax-b) （这是技巧，对于矩阵，要构造“平方”则用转置来乘），展开得 f(x)=x^TATAx-2b^TAx+bTb （注意化简过程中， (b^TAx)T=x^TATb ，因为等式两边结果都是一个数）； 接着对上式求梯度 f’(x)=(x^TATAx-2b^TAx+bTb)’=2A^TAx-2ATb=0 （技巧：类比代数 f’(x)=(\frac{1}{2}ax^2-bx)’=ax-b ，对于矩阵情形 gradf(x)=(\frac{1}{2}x^TAx-bTx)’=Ax-b ）。 最后得到原不相容（超定）方程的正规方程形式： A^TAx=ATb 。 该模型的价值在于可以直接根据具体问题写出最终的求解形式，参见PPT14的第14页。
2. 定理
   不相容方程的最小二乘解总是存在的。
   证明：PPT14的第18页。
3. 应用场景
   在统计学中，根据实验样本进行数据拟合时往往会求解超定方程。在许多实际问题中，由于变量和变量之间的关系比较复杂，需要考虑问题背景所涉及的数学模型，观察数据散点的分布，选取不同函数做实验，以获得比较成功的数据拟合。下面介绍集中拟合函数：
   （1） y(x)=C_0+C_1 x
   （2） y(x)=C_0+C_1x+…+C_nx^n
   （3） y(x)=C_0\varphi_0(x)+C_1\varphi_1(x)+…+C_n\varphi_n(x)
   （4） y(x)=C_0e^{C_1x} （线性化处理后为 \ln y(x)=\ln C_0+C_1\ln x ）
   PPT14的例题1
   （5） y(x)=x^C
   PPT14的例题2
   最小二乘法与插值法有着类似的作用，但其之间也存在着一些本质的差别，插值法的相关知识可以在《机器学习数学基础》中查阅。
   六. 广义逆解法

七. 附录
一. 矩阵分解
1.1 奇异值分解（ A \in \mathbb{C}r^{m \times n} ）
1.1.1 定义； 1.1.2 性质； 1.1.3 分解定理和步骤； 1.1.4 奇异值的分析；
1.1.5 奇异值的几何意义；1.1.6 重要定理
1.2 谱分解（A \in \mathbb{C}^{n \times n}）
1.2.1 形式一：单纯矩阵 1.2.1.1 定义；1.2.1.2 单纯矩阵的谱分解； 1.2.1.3 定理
1.2.2 形式二：正规矩阵 1.2.2.1 定义； 1.2.2.2 引理； 1.2.2.3 正规矩阵的谱分解； 1.2.2.4 定理
1.3 最大秩分解（ A \in \mathbb{C}r^{m \times n} ）
1.3.1分解定理和步骤； 1.3.2 定理；
二. 向量与矩阵的范数
2.1 向量范数
2.1.1 定义； 2.1.2 简单性质； 2.1.3 常用向量范数； 2.1.4 向量范数的等价； 2.1.5 向量范数的应用
2.2 矩阵范数
2.2.1 定义； 2.2.2 简单性质； 2.2.3 范数的等价； 2.2.4 范数的相容
2.3 算子范数
2.3.1 定义； 2.3.2 简单性质； 2.3.3 常用算子范数； 2.3.4 广义算子范数
2.4 酉不变范数
2.4.1 定义； 2.4.2 例子
三. 特征值的估计
一. 矩阵分解
1.1 奇异值分解
1.1.1 定义
设 A \in \mathbb{C}{r}^{m \times n} , A^HA 的特征值为 \lambda_1 \geq\lambda_2 \geq…\geq\lambda_r >\lambda{r+1}=…=\lambda_n=0 ，则称 \sigma_i=\sqrt{\lambda_i}(i=1,2,…,r) 为矩阵 A 的正奇异值。
1.1.2 性质
（1） A 与 A^H 有相同的正奇异值。
该性质来源于定理：设 A \in \mathbb{C}_r^{m \times n} ，则有(1) rank(A)=rank(A^HA)=rank(AHA); (2) A^HA 、 AA^H 的特征值均为非负实数；(3)A^HA 、 AA^H 的非零特征值相同。该定理的证明在教材P118-119页
（2）若 A