R语言主成分分析

主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。
是一种降维技术，把多个变量化为能够反映原始变量大部分信息的少数几个主成分。
设X有p个变量，为n*p阶矩阵，即n个样本的p维向量。首先对X的p个变量寻找正规化线性组合，使它的方差达到最大，这个新的变量称为第一主成分，抽取第一主成分后，第二主成分的抽取方法与第一主成分一样，依次类推，直到各主成分累积方差达到总方差的一定比例。

#原理: 在用统计分析方法研究多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。主成分分析是对于原先提出的所有变量，将重复的变量（关系紧密的变量）删去多余，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息。

#pca计算过程

整个过程，就是将原始样例的n维特征变成了k维，这k维就是原始特征在k维上的投影。
1.对数据中心化：分别求特征的平均值，然后对于所有的样例，都减去对应的均值

2.求特征的协方差矩阵

3.求协方差矩阵的特征值和特征向量

4.取最大的k个特征值所对应的特征向量：将特征值按照从大到小的顺序排序，选择其中最大的k个，然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵

5.将样本点投影到选取的特征向量上：将样本点投影到选取的特征向量上。假设样例数为m，特征数为n，减去均值后的样本矩阵为DataAdjust(mn)，协方差矩阵是nn，选取的k个特征向量组成的矩阵为EigenVectors(n*k)。那么投影后的数据为FinalData

# 用数据框形式输入数据
student<-data.frame(
   X1=c(148, 139, 160, 149, 159, 142, 153, 150, 151, 139, 
        140, 161, 158, 140, 137, 152, 149, 145, 160, 156, 
        151, 147, 157, 147, 157, 151, 144, 141, 139, 148), 
   X2=c(41, 34, 49, 36, 45, 31, 43, 43, 42, 31, 
        29, 47, 49, 33, 31, 35, 47, 35, 47, 44,
        42, 38, 39, 30, 48, 36, 36, 30, 32, 38),
   X3=c(72, 71, 77, 67, 80, 66, 76, 77, 77, 68, 
        64, 78, 78, 67, 66, 73, 82, 70, 74, 78, 
        73, 73, 68, 65, 80, 74, 68, 67, 68, 70),
   X4=c(78, 76, 86, 79, 86, 76, 83, 79, 80, 74, 
        74, 84, 83, 77, 73, 79, 79, 77, 87, 85, 
        82, 78, 80, 75, 88, 80, 76, 76, 73, 78)
)
#Standard deviation标准差   
#Proportion of Variance方差比例  
#Cumulative Proportion累积概率
# 作主成分分析
student.pr<-princomp(student, cor=TRUE)

# 并显示分析结果
summary(student.pr, loadings=TRUE)

# 作预测
predict(student.pr)

# 画碎石图
screeplot(student.pr)
screeplot(student.pr,type="lines")

biplot(student.pr)

princomp(~X1+X2+X3+X4,data=student, cor=T)