奇异值分解(SVD)和最小二乘解在解齐次线性超定方程中的应用

　　奇异值分解，是在A不为方阵时的对特征值分解的一种拓展。奇异值和特征值的重要意义相似，都是为了提取出矩阵的主要特征。
　　对于齐次线性方程 A*X =0;当A的秩大于列数时，就需要求解最小二乘解，在||X||=1的约束下，其最小二乘解为矩阵A'A最小特征值所对应的特征向量。
　　假设x为A'A的特征向量的情况下，为什么是最小的特征值对应的x能够是目标函数最小?具体证明如下：
　　齐次线性方程组的最小二乘问题可以写成如下：min ||Ax|| 
　　　　s.t:    ||x||=1
　　　　目标函数：||Ax|| = x'A'Ax = x'λx=λ||x||=λ,其中λ是A'A的特征值。
　　　　于是可知，得到了A'A的最小特征值，就得到了最优值，而其最小特征值对应的特征向量就是最优解.
　　而对M进行SVD分解(*表示共轭转置)：

　　

　　

　　可见M*M的特征向量就是V的列向量。

转载于:https://www.cnblogs.com/litaotao-doctor/p/5324160.html