奇异值分解（SVD）的之低秩近似和特征降维

http://www.linuxidc.com/Linux/2014-06/103495.htm

 

 

我们在这一篇《模式识别、推荐系统中常用的两种矩阵分解-----奇异值分解和非负矩阵分解 》中详细介绍了矩阵奇异值分解的数学证明，我们沿用这一篇的博文的符号，继续讨论这一章的内容。

矩阵的奇异值分解定理：

设矩阵，秩为，，则该矩阵可以分解为：

也可以表示为：

。

其中：为矩阵（或者）的非零向量,为的对应特征向量，为的对应特征向量，。

 

SVD的第一个作用之低秩近似（Low Rank Approximation）：

，，

即用矩阵近似。

 

SVD的第二个作用之特征降维（Dimensionality Reduction）：

假设特征是按列存储的，即：

，

其中，。

我们在低秩近似中已经用近似表示了。

则根据分块矩阵的乘法，我们很容易得到：

，。

令：

。

因为，是相互正交的，所以根据

，

显然可以得出，可以近似由，张成，所以我们得出结论：

m维的，可以降到维的，。