奇异值分解（Singular Value Decomposition SVD）

序言：

        奇异值分解是一个有着很明显物理意义的方法，在图像去噪方面有很重要的应用。大致意义可以这样理解：在描述一个人时，给别人描述浓眉大眼，方脸，爆炸头等，很容易就可以让人联想到这个人的大致模样。

        实际上，人脸的特征不计其数，但只需要描述出最重要的几个特征，人们就可以想象出大致模样，这是因为人能够对一些事物的重要特征做抽象提取。而SVD，正是机器抽象提取一些事物重要特征的方法。

公式：

        其中为的矩阵，是一个的方阵（中的向量都是正交的，被称为左奇异向量）。是一个的对角矩阵（除对角线元素外，其他元素全为0，对角线上的元素称为奇异值），是一个的矩阵（中的向量都是正交的，被称为右奇异向量）。

其中是的特征向量的集合，即设,其中集合就是。并设

其中就是奇异值，即对角线上的元素。集合就是，即左奇异向量。

原因：

        中的值是按照从大到小的顺序排列的， 而且递减的速度特别的快。很多情况下前10%甚至前1%就占据了全部奇异值之和的99%。故可只计算前k个奇异值，其中。

 

推荐文章：

https://blog.csdn.net/Hearthougan/article/details/81672611

https://www.zhihu.com/question/22237507