SVD和PCA

简介

本文主要介绍SVD和PCA相关知识和使用Matlab分析。

SVD即奇异值分解(Singular Value Decomposition). 先作几个定义：

1、奇异值(Singular Value)：方阵A的奇异值是矩阵 特征值的平方根(跟特征值个数一样多)。

2、条件数(Condition Number)：条件数是最大奇异值和最小奇异值之比。

3、奇异矩阵(Singular Matrix)：条件数无穷大的矩阵，其行列式(determinant)为0。

方阵特征分解

矩阵的特征分解(Eigen decomposition)，又称谱分解(Spectral decomposition)。任何一个实对称m*m的矩阵A可以分解为如下的形式：

  (1)

其中U是一个正交矩阵( )，它的每一列是A的特征向量。 是一个对角矩阵，其对角线元素是A的特征值(其排列与特征向量对应)。根据(1)式我们可以得到:

 (2)

即我们熟悉的特征向量与特征值关系。

奇异值分解

任何一个实n*m (n>=m)矩阵B有如下的分解形式：

 (3)

其中U是一个n*m的矩阵且各列正交( )，V是一个m*m的正交矩阵( )， 是一个m*m包含奇异值的对角阵。

通过B我们定义两个对称阵 和 ，可以分解如下：

 (4)

 (5)

那么 和 有m个特征值相同，而 剩余n-m个特征值为0。

从上面的分解可以知道 的特征向量和特征值分别为V的列和 的对角元素的平方，假设为v和 ，那么：

(6)

易知Bv和 分别是 的特征向量和特征值：

 (7)

主成分分析PCA

样本 (i=i, 2, ..., n)的均值为 ，那么其协方差矩阵为:

 (8)

若每个样本去掉各维数的均值： ，那么协方差矩阵可以写成如下形式：

 (9)

PCA就是寻在协方差矩阵最大特征值对应的特征向量，并把数据投影到这些方向上。假设特征向量为U，那么PCA对数据进行如(8)所示的线性变换：

 (10)

特征向量被成为主成分，如果我们选取Y的m行，那么可以将数据从d维降到m维。

用SVD进行PCA

将X进行奇异值分解可得 ，那么协方差矩阵如下所示：

根据方阵特征分解可知，U即为协方差矩阵的特征向量。

若样本维数d远大于样本个数n

从(6)和(7)可知我们可以分解较小的矩阵：

最终可以得到主成分：  ([U S V] = svd(X))

参考资料

Singular Value Decomposition and Principal Component Analysis.