【课程作业】数据挖掘之主成分分析

参考：https://blog.csdn.net/lswbjtu/article/details/72764141

http://www.360doc.com/content/14/1103/09/17553313_422099670.shtml

http://muchong.com/t-9070350-1

一、理论

（一）主成分分析的作用

 

（二）准备工作：数据标准化

（三）实验（R）

1、数据标准化、主成分负荷系数(principal component loadings)、前两个主成分的双标图

apply(USArrests,2,mean)
##   Murder  Assault UrbanPop     Rape 
##    7.788  170.760   65.540   21.232
apply(USArrests,2,var)
##     Murder    Assault   UrbanPop       Rape 
##   18.97047 6945.16571  209.51878   87.72916
##发现均值和方差的差异较大，因此必须进行标准化

scale(USArrests,center = T,scale = T)
##然后进行PCA分析，标准化操作：scale=T
pr.out<-prcomp(USArrests,scale=T)
names(pr.out)
## [1] "sdev"     "rotation" "center"   "scale"    "x"
##center和scale是标准化前的均值和标准差
##rotation包含了主成分载荷信息，列向量是主成分载荷向量

pr.out$rotation
##                 PC1        PC2        PC3         PC4
## Murder   -0.5358995  0.4181809 -0.3412327  0.64922780
## Assault  -0.5831836  0.1879856 -0.2681484 -0.74340748
## UrbanPop -0.2781909 -0.8728062 -0.3780158  0.13387773
## Rape     -0.5434321 -0.1673186  0.8177779  0.08902432
##主成分负荷系数(principal component loadings)表示各个成分和原来变量之间的相关程度
biplot(pr.out,scale=0) ##前两个主成分的双标图

得前两个主成分的双标图

biplot双标图，这个图可以把成分负荷、因子得分都反应在一个图上面。因为是平面图，因此只能指定两个成分，比如想呈现1、2成分，可以使用:>biplot(fit2.pca,c(2,4))。图中两个坐标对应各自的成分，红色的箭头的长度表示负荷的长度，方向表示符合的符号是正还是负，而各个点是各个个案对应的成分得分。（详细的说明，可以到splus的主页现在说明文档）。点之间的距离，反映它们对应的样本之间的差异大小，两点相距较远，对应样本差异大；两点相距较近，对应样本差异小，存在相似性。

2、每个主成分的标准差、每个主成分的方差解释比例、绘制每个主成分的PVE和累积PVE图

##主成分的标准差
pr.out$sdev ##一般来说，第一主成分的方差>第二主成分的方差>.....
## [1] 1.5748783 0.9948694 0.5971291 0.4164494
pr.out$var<-pr.out$sdev^2

##计算每个主成分的方差解释比例
pve<-pr.out$var/sum(pr.out$var)
pve

## [1] 0.62006039 0.24744129 0.08914080 0.04335752
##绘制每个主成分的PVE和累积PVE图
par(mfrow=c(1,2))
plot(pve,xlab = "Principal Component",ylab="Proportion of Variance Explained",
     ylim=c(0,1),type='b')
plot(cumsum(pve),xlab = "Principal Component",ylab="Proportion of Variance Explained",
     ylim=c(0,1),type='b')

主成分对于总方差的贡献比例(Proportion of Variance Explained,简记 PVE)

PVE图和累积PVE图可以用于选择主成分，一般选取前几个能解释大部分数据方差的主成分。