PCA 数据降维
一、主成分的计算步骤
1- 对原始数据进行标准化处理,消除量纲
2- 计算标准化数据的相关系数矩阵
3- 计算标准化数据的相关系数矩阵的特征根及对应的特征向量
4- 选出最大的特征根,对应的特征向量等于第一主成分的系数;选出第二大的特征根,对应的特征向量等于 第二主成分的系数;以此类推
5- 计算累积贡献率,选择恰当的主成分个数
6- 解释主成分:写出前k个主成分的表达式
7- 确定各样本的主成分得分
8- 根据主成分得分的数据,做进一步的统计分析
二、R语言实现
- 载入需要的数据包 psych
apply(USArrests,2,mean)
## Murder Assault UrbanPop Rape
## 7.788 170.760 65.540 21.232
apply(USArrests,2,var)
## Murder Assault UrbanPop Rape
## 18.97047 6945.16571 209.51878 87.72916
##发现均值和方差的差异较大,因此必须进行标准化
## scale(USArrests,center = T,scale = T)
##然后进行PCA分析,函数包含了标准化操作
pr.out<-prcomp(USArrests,scale=T)
names(pr.out)
## [1] "sdev" "rotation" "center" "scale" "x"
##center和scale是标准化前的均值和标准差
##rotation包含了主成分载荷信息,列向量是主成分载荷向量
pr.out$rotation
## PC1 PC2 PC3 PC4
## Murder -0.5358995 0.4181809 -0.3412327 0.64922780
## Assault -0.5831836 0.1879856 -0.2681484 -0.74340748
## UrbanPop -0.2781909 -0.8728062 -0.3780158 0.13387773
## Rape -0.5434321 -0.1673186 0.8177779 0.08902432
biplot(pr.out,scale=0) ##前两个主成分的双标图
##主成分的标准差
pr.out$sdev ##一般来说,第一主成分的方差>第二主成分的方差>.....
## [1] 1.5748783 0.9948694 0.5971291 0.4164494
pr.out$var<-pr.out$sdev^2
##计算每个主成分的方差解释比例
pve<-pr.out$var/sum(pr.out$var)
pve
## [1] 0.62006039 0.24744129 0.08914080 0.04335752
##绘制每个主成分的PVE和累积PVE图
par(mfrow=c(1,2))
plot(pve,xlab =