PCA

PCA 数据降维

一、主成分的计算步骤

1- 对原始数据进行标准化处理，消除量纲

2- 计算标准化数据的相关系数矩阵

3- 计算标准化数据的相关系数矩阵的特征根及对应的特征向量

4- 选出最大的特征根，对应的特征向量等于第一主成分的系数；选出第二大的特征根，对应的特征向量等于 第二主成分的系数；以此类推

5- 计算累积贡献率，选择恰当的主成分个数

6- 解释主成分：写出前k个主成分的表达式

7- 确定各样本的主成分得分

8- 根据主成分得分的数据，做进一步的统计分析

二、R语言实现

• 载入需要的数据包 psych

apply(USArrests,2,mean)
##   Murder  Assault UrbanPop     Rape 
##    7.788  170.760   65.540   21.232
apply(USArrests,2,var)
##     Murder    Assault   UrbanPop       Rape 
##   18.97047 6945.16571  209.51878   87.72916
##发现均值和方差的差异较大，因此必须进行标准化
## scale(USArrests,center = T,scale = T)
##然后进行PCA分析，函数包含了标准化操作
pr.out<-prcomp(USArrests,scale=T)
names(pr.out)
## [1] "sdev"     "rotation" "center"   "scale"    "x"
##center和scale是标准化前的均值和标准差
##rotation包含了主成分载荷信息，列向量是主成分载荷向量
pr.out$rotation
##                 PC1        PC2        PC3         PC4
## Murder   -0.5358995  0.4181809 -0.3412327  0.64922780
## Assault  -0.5831836  0.1879856 -0.2681484 -0.74340748
## UrbanPop -0.2781909 -0.8728062 -0.3780158  0.13387773
## Rape     -0.5434321 -0.1673186  0.8177779  0.08902432
biplot(pr.out,scale=0) ##前两个主成分的双标图

##主成分的标准差
pr.out$sdev ##一般来说，第一主成分的方差>第二主成分的方差>.....
## [1] 1.5748783 0.9948694 0.5971291 0.4164494
pr.out$var<-pr.out$sdev^2
##计算每个主成分的方差解释比例
pve<-pr.out$var/sum(pr.out$var)
pve
## [1] 0.62006039 0.24744129 0.08914080 0.04335752
##绘制每个主成分的PVE和累积PVE图
par(mfrow=c(1,2))
plot(pve,xlab =