SVD详细介绍-理论公式证明及低秩近似和特征降维

第一部分：矩阵的奇异值分解：

矩阵的奇异值分解证明过程中会用到五个定理，先作为补充知识展示这五个定理：

定理一：A是对称矩阵，则不同特征值对应的特征向量是正交的。

证明：设，是矩阵A的特征向量，且，，为，对应的特征向量，即：

，

则

，

因为A是对称矩阵，则

所以，

则：

因为

，

所以：

，

即：和是正交的。证毕

————————————————————————————————————————————————————————————————————————————

定理二：矩阵和它的转置具有相同的特征值

证明：因为：

，

即和有相同的特征多项式，所以有相同的特征值。

————————————————————————————————————————————————————————————————————————————

定理三：半正定矩阵的特征值均大于等于零

证明：这是半正定矩阵的定义

————————————————————————————————————————————————————————————————————————————

定理四：若满足,则称是单位正交矩阵

单位正交矩阵有如下的性质：。

————————————————————————————————————————————————————————————————————————————

定理五：若矩阵的秩为r，则和秩均为r。

————————————————————————————————————————————————————————————————————————————

补充完以上五个定理，我们正式开始矩阵的奇异值分解的证明。

 

设矩阵,矩阵的秩为,且，则矩阵可以分解为如下形式：

，

 

也可表示为：

证明：无非就是寻找。

显然，，且这两个矩阵均是半正定矩阵，且互为转置，且根据定理五，这两个矩阵的秩均为。根据定理二和定理三，这两个矩阵的特征值是相同的，且均大于等于零。我们只用大于零的特征值。设(我们按从大到小排序即：)是它们的不为零的特征值，且对于矩阵对应的单位特征向量为（），对于矩阵对应的单位特征向量为（），即

，。

其实和存在一定的关系，下面就找出这种关系。

因为

，

所以，是的特征向量，又因为也是的特征向量，所以，

，

又因为

，

所以：

。

则：

,

所以，

，

那么

下面证明

，

其中代表单位矩阵。

因为是对称矩阵的不同特征值对应的特征向量，根据定理一，我们得出他们是相互正交的，又因为

，

然后，然后根据定理四，我们便得到

所以：

。

证毕。

 

矩阵的奇异值分解定理：

设矩阵，秩为，，则该矩阵可以分解为：

也可以表示为：

。

其中：为矩阵（或者）的非零向量,为的对应特征向量，为的对应特征向量，。

 

SVD的第一个作用之低秩近似（Low Rank Approximation）：

，，

即用矩阵近似。

 

SVD的第二个作用之特征降维（Dimensionality Reduction）：

假设特征是按列存储的，即：

，

其中，。

我们在低秩近似中已经用近似表示了。

则根据分块矩阵的乘法，我们很容易得到：

，。

令：

。

因为，是相互正交的，所以根据

，

显然可以得出，可以近似由，张成，所以我们得出结论：

m维的，可以降到维的，。