PCA主成分分析和因子分析笔记_数学建模系列
这里的主成分分析和因子分析为两种降维方法。
什么时候要降维呢?
当需要对一个样本集中的样本进行排序时,可能有多个维度可以对这些样本进行评价,但维度过多会造成不变,因此我们希望能够用更少的维度评价,同时尽量减少评价的准确度损失。
主成分分析,简单来说,就是直接选择对评价结果贡献度较高的几个维度,或者直接去掉对评价结果贡献度较低的几个维度;(公式参考)
因子分析,则是以已知的所有维度为基础,创造数量更少的全新的一组维度来进行评价。先对原始的一组维度进行相关性分析,合并相关性高的,保留相关性低的。或者说,找出一组能够『代表』原维度组的新维度,同时能保留新维度组没有涵盖的特色部分。(公式参考)
1. 主成分分析(PCA):
1) in R
数据要求:
m ∗ n(除去表头)的矩阵,样本集大小为m,属性个数为n;或说有m个待评价目标,评价因子个数为n。
每列表头为因子/属性名,每行表头为一个目标/样本集中的一个样本,每行内容为各因子对此目标(的某种评价)的贡献值/此样本的各项属性值。
## 数据读入 ##
industryData <- read.csv("*C:\\Users\\lenovo\\Desktop\\1.csv*", header = TRUE, sep = ",")
X <- industryData[,-1]
## 计算相关系数矩阵和特征值、特征向量 ##
industry.cor <- cor(X)
industry.cor
industry.eig <- eigen(industry.cor)
industry.eig
## 主成分分析并生成报表 ##
industry.pr <- princomp(X, cor = TRUE)
summary(industry.pr, loadings = TRUE)
## 绘图 ##
screeplot(industry.pr, type = "lines") #绘制碎石图
biplot(industry.pr, choices = 1:2) #绘制关于第1主成分和第2主成分的散点图
## 制作汇总表 ##
field = as.character(industryData[, 1]) #提取出第一列的中文
result = cbind(field, as.data.frame(scale(X))) #变量标准化并组成新的表格
numOfCharacter <- 3 #提取的特征数
industry.predict <- predict(industry.pr) #计算样本的主成分
result = cbind(result, industry.predict[,1:numOfCharacter]) #将计算出的主成分得分加载在标准化数据表格之后
## 计算每个提取的主成分的方差贡献率 ##
varProportion <- numeric(numOfCharacter)
for (i in 1:length(varProportion))
{
varProportion[i] <- industry.eig$values[i]/sum(industry.eig$values);
}
## 计算每个观测的总得分 ##
totalScore <- numeric(nrow(industry.predict))
for (i in 1:length(totalScore))
{
for (j in 1:length(varProportion))
{
totalScore[i] = totalScore[i] + varProportion[j] * industry.predict[i, j];
}
}
result = cbind(result, totalScore) #将总得分加载在最后一列
## 对所有观测按照总得分降序排列 ##
library(plyr)
resultDescent = arrange(result,