简介
本文主要介绍SVD和PCA相关知识和使用Matlab分析。
SVD即奇异值分解(Singular Value Decomposition). 先作几个定义:
1、奇异值(Singular Value):方阵A的奇异值是矩阵 特征值的平方根(跟特征值个数一样多)。
2、条件数(Condition Number):条件数是最大奇异值和最小奇异值之比。
3、奇异矩阵(Singular Matrix):条件数无穷大的矩阵,其行列式(determinant)为0。
方阵特征分解
矩阵的特征分解(Eigen decomposition),又称谱分解(Spectral decomposition)。任何一个实对称m*m的矩阵A可以分解为如下的形式:
(1)
其中U是一个正交矩阵(
),它的每一列是A的特征向量。
是一个对角矩阵,其对角线元素是A的特征值(其排列与特征向量对应)。根据(1)式我们可以得到:
(2)
即我们熟悉的特征向量与特征值关系。
奇异值分解
任何一个实n*m (n>=m)矩阵B有如下的分解形式:
(3)
其中U是一个n*m的矩阵且各列正交(
),V是一个m*m的正交矩阵(
),
是一个m*m包含奇异值的对角阵。
通过B我们定义两个对称阵
和
,可以分解如下:
(4)
(5)
那么
和
有m个特征值相同,而
剩余n-m个特征值为0。
从上面的分解可以知道
的特征向量和特征值分别为V的列和
的对角元素的平方,假设为v和
,那么:
(6)
易知Bv和
分别是
的特征向量和特征值:
(7)
主成分分析PCA
样本
(i=i, 2, ..., n)的均值为
,那么其协方差矩阵为:
(8)
若每个样本去掉各维数的均值:
,那么协方差矩阵可以写成如下形式:
(9)
PCA就是寻在协方差矩阵最大特征值对应的特征向量,并把数据投影到这些方向上。假设特征向量为U,那么PCA对数据进行如(8)所示的线性变换:
(10)
特征向量被成为主成分,如果我们选取Y的m行,那么可以将数据从d维降到m维。
用SVD进行PCA
将X进行奇异值分解可得 ,那么协方差矩阵如下所示:
根据方阵特征分解可知,U即为协方差矩阵的特征向量。
若样本维数d远大于样本个数n
从(6)和(7)可知我们可以分解较小的矩阵:
最终可以得到主成分:
([U S V] = svd(X))