特征值分解、奇异值分解(SVD)、主成分分析(PCA)

1、 特征值分解(SVD):

A=QQ1

Q=[v1,v2,...]
=λ1000λ2000...(1)
2、 奇异值分解(SVD):
A=UmmmnVTnm
求解
(ATA)vi=λvi
σi=λi
ui=1σiAvi

其中:vi是右边的奇异向量,ui是左边的矩阵中的向量。
对于特征值和奇异值分解:这样取前r个特征值,取得U的前r个向量 V的前r行,这样只存储这三个矩阵就行,从而减少存储空间

3、PCA
求出原来矩阵 V 整个维度上的协方差矩阵,例如,有(x,y,z)三个维度,有10个样本。则协方差矩阵为:

=Cov(x,x)Cov(y,x)Cov(z,x)Cov(x,y)Cov(y,y)Cov(z,y)Cov(x,z)Cov(y,z)Cov(z,z)(2)

求出协方差矩阵的特征值和特征向量,选出k个最大的特征值和对应的特征向量Vk则最终降维后的矩阵为 VTkVT

没有更多推荐了,返回首页