最小二乘法与SVD

这边笔记主要记录SVD与最小二乘的一些关系，之前关于最小二乘法的一些了解主要就是服从高斯分布的模型下，最大似然求取相关参数与最小二乘的等价性。
对于矩阵m * n。当M > N时，方程个数大于未知数个数时，对于方程$Ax=b$,只$b$位于A的列空间上时，x才存在与解析解，不然我们只能去求解x，使得
$\Vert Ax-b\Vert$
最小，即我们只能取得一组最小二乘解。现在，我们使用SVD分解去寻找这组解，
对于任意矩阵有$A=UD{V}^T$，向量模长经过正交变换后$\Vert a\Vert =\Vert Pa\Vert$
多写一步免得到时候一下抽风了
$\Vert Pa\Vert =(Pa{)}^{T}Pa=a^{T}a=\Vert a\Vert$
这样，综合就会有
$\Vert UD{V}^{T}x-b\Vert =\Vert D{V}^{T}x-U^{T}b\Vert$
令$y=V$