SVD求解超定方程

SVD求解超定方程:
正交矩阵的保范性：乘一个正交矩阵，其模大小不变，可以想象成乘一个旋转矩阵。

$$\begin{array}{rl}\Vert Ax-b{\Vert }_2^2& ={\Vert U\left[\begin{array}{c}\Sigma \\ 0\end{array}\right]V^{T}x-b\Vert }_2^2（两边同时乘U^T，不改变模大小）\\ & ={\Vert \left[\begin{array}{c}\Sigma \\ 0\end{array}\right]V^{T}x-{\left[\begin{array}{cc}{\overline{U}}_n& \overline{U}\end{array}\right]}^{T}b\Vert }_2^2(U^T={\left[\begin{array}{cc}{\overline{U}}_n& \overline{U}\end{array}\right]}^T)\\ & ={\Vert \left[\begin{array}{c}\Sigma V^{T}x-{\overline{U}}_n^{T}b\\ -{\overline{U}}^{T}b\end{array}\right]\Vert }_2^2\\ & ={\Vert \Sigma V^{T}x-{\overline{U}}_n^{T}b\Vert }_2^2+{\Vert {\overline{U}}^{T}b\Vert }_2^2\ge {\Vert {\overline{U}}^{T}b\Vert }_2^2\end{array}$$
等号当且仅当$\Sigma V^{T}x-{\overline{U}}_n^{T}b=0$时成立，所以：
$$x=(\Sigma V^T{)}^{-1}{\overline{U}}_n^{T}b=V{\Sigma }^{-1}{\overline{U}}_n^{T}b$$这就是线性最小二乘问题的解。

特殊情况：齐次线性方程组$Ax=0$

$$min||Ax||st.||x||=1$$

则：$\Sigma V^{T}x=0$，
令$V^{T}x=y$，由正交矩阵的保范性知$||y||=1$

当仅当$y=[0,0,0,1{]}^T$时，$\Sigma y$取得最小值，则$x=V\ast [0,0,0,1{]}^T$

此时，最小二乘解为$A^{T}A$最小特征值对应的特征向量。