矩阵分解（2）--- 奇异值分解（SVD），AX=b问题

1. 特征值与特征向量

2. SVD奇异值分解

2.1 SVD定义

wiki： https://zh.wikipedia.org/wiki/%E5%A5%87%E5%BC%82%E5%80%BC%E5%88%86%E8%A7%A3

2.2 SVD理解

Ref：奇异值分解（SVD） - 知乎

应用：

对于齐次线性方程   A*X =0;   当A的  行数大于列数时，就需要求解最小二乘解，在||X||=1的约束下，其最小二乘解为矩阵A'A最小特征值所对应的特征向量。

求解方法有两种（matlab）：
1.  [V D] =eig(A'*A); D为A'*A的特征值对角矩阵，V为对应的特征向量。找到最小特征值对应的V中的特征向量即为最小二乘解。
2. 使用SVD分解矩阵A，[U S V] = svd(A); U 由 A*A'的特征向量组成，V 由 A'*A的 特征向量组成，因此，奇异值矩阵S中最小的奇异值对应的V中的奇异向量即为最小二乘解。

3. 计算举例

4. SVD性质

5、线性最小二乘问题

6、奇异值分解与线性最小二乘问题