关于SVD的理解

由于最小二乘中很多方面涉及到SVD，于是想好好看一下这个神奇的问题。

文章2中基于 文章4 对这个推导进行了介绍，但是其中有一部分 写的不是很清楚（我是看迷糊了TT。。于是翻出4 再看了一下，大概明白了是怎么一回事）。

文章1从另外一个角度介绍了SVD的性质，很详细。

对于n*n的实对称阵A，通过EVD分解可以得到    也就是  AV=VD，可以理解为，对于一个对称阵A，这个变换将变换到， V的列定义了这个基向量。

类似的，对于m*n的矩阵A，将对象从变换到了另一个空间，因此我们想要为每一个域找到一组基。SVD中可以帮组我们找到相应的正交基。

对于对称阵，有， 选择V的列向量（的特征向量）作为一组正交基

则A矩阵将这组基映射为

   

选择任意两个映射后的元素内积 （注意 一开始的点表示的是内积，所以 才有后面的矩阵相乘的表示）

=0

所以A矩阵映射后的正交基还是正交基。

最后，就是考虑将映射后的正交基归一化，如果令i=j ， 则

=

也就是

故归一化后的正交基为

附录：

国内教材一般的推导过程：

矩阵的正交分解

对称阵

非对称阵

对称阵分解，非对称方阵分解，，非对称非方阵分解（SVD）

reference：

1.https://zhuanlan.zhihu.com/p/29846048

2.http://blog.csdn.net/zhongkejingwang/article/details/43053513

3.https://wenku.baidu.com/view/40b58727ad02de80d5d84073.html?from=search

4.A Singularly Valuable Decomposition The SVD of a Matrix