主成分分析,因为特征之间可能存在相关性,这样的特征一起利用显得冗余,利用主成分分析,将原始特征进行运算,得到更加合适于样本的特征。从几何意义角度显示就是对数据进行了降维。
计算过程,整个过程可以结合上面网址例子走一遍
- 求特征平均值,对于所有的样例,减去对应的特征平均值,再减去方差做归一化处理
- 计算协方差矩阵
- 计算协方差的特征值和特征向量
- 将特征值从大到小排列,选取最大的k个,将对应的k个特征向量作为列向量组成特征向量矩阵
- 将样本点投影到特征向量上,用减去均值的样本矩阵m*n乘以特征向量组成的矩阵n*k,得到最终的数据矩阵
上面网站PCA理论基础自行了解
在进行主成分分析前,先补充对数据做合适性检验先来判断是否数据适合做主成分分析
- 球形检验
假设:
H0:相关系数矩阵为单位阵(即变量不相关)
H1:相关系数矩阵不是单位阵(即变量间有相关关系)
- KMO统计量
KMO的值在0,1之间,该值越大,则样本数据越适合作主成分分析和因子分析。一般要求该值大于0.5,方可作主成分分析或者相关分析。
热力图用不了可能是matlab绘图库和它冲突了,可以试试降低matlab绘图库版本
数据需要删除第一样第一列,否则会报格式错误
# 数据处理
import pandas as pd
import numpy as np
# 绘图
import seaborn as sns
import matplotlib.pyplot as plt
df = pd.read_csv("aa.csv", encoding='gbk', index_col=0).reset_index(drop=True)
print(df)
# Bartlett's球状检验
from factor_analyzer.factor_analyzer import calculate_bartlett_sphericity
chi_square_value, p_value = calculate_bartlett_sphericity(df)
print(chi_square_value, p_value)
# KMO检验
# 检查变量间的相关性和偏相关性,取值在0-1之间;KOM统计量越接近1,变量间的相关性越强,偏相关性越弱,因子分析的效果越好。
# 通常取值从0.6开始进行因子分析
from factor_analyzer.factor_analyzer import calculate_kmo
kmo_all, kmo_model = calculate_kmo(df)
print(kmo_all)
# #标准化
# #所需库
# from sklearn import preprocessing
# #进行标准化
# df = preprocessing.scale(df)
# print(df)
# #求解系数相关矩阵
# covX = np.around(np.corrcoef(df.T),decimals=3)
# print(covX)
# #求解特征值和特征向量
# featValue, featVec= np.linalg.eig(covX.T) #求解系数相关矩阵的特征值和特征向量
# print(featValue, featVec)
# 不标准化
# 均值
def meanX(dataX):
return np.mean(dataX, axis=0) # axis=0表示依照列来求均值。假设输入list,则axis=1
average = meanX(df)
print(average)
# 查看列数和行数
m, n = np.shape(df)
print(m, n)
# 均值矩阵
data_adjust = []
avgs = np.tile(average, (m, 1))
print(avgs)
# 去中心化
data_adjust = df - avgs
print(data_adjust)
# 协方差阵
covX = np.cov(data_adjust.T) # 计算协方差矩阵
print(covX)
# 计算协方差阵的特征值和特征向量
featValue, featVec = np.linalg.eig(covX) # 求解协方差矩阵的特征值和特征向量
print(featValue, featVec)
####下面没有区分#######
# 对特征值进行排序并输出 降序
featValue = sorted(featValue)[::-1]
print(featValue)
# 绘制散点图和折线图
# 同样的数据绘制散点图和折线图
plt.scatter(range(1, df.shape[1] + 1), featValue)
plt.plot(range(1, df.shape[1] + 1), featValue)
# 显示图的标题和xy轴的名字
# 最好使用英文,中文可能乱码
plt.title("Scree Plot")
plt.xlabel("Factors")
plt.ylabel("Eigenvalue")
plt.grid() # 显示网格
plt.show() # 显示图形
# 求特征值的贡献度
gx = featValue / np.sum(featValue)
print(gx)
# 求特征值的累计贡献度
lg = np.cumsum(gx)
print(lg)
# 选出主成分
k = [i for i in range(len(lg)) if lg[i] < 0.85]
k = list(k)
print(k)
# 选出主成分对应的特征向量矩阵
selectVec = np.matrix(featVec.T[k]).T
selectVe = selectVec * (-1)
print(selectVec)
# 主成分得分
finalData = np.dot(data_adjust, selectVec)
print(finalData)
# 绘制热力图
plt.figure(figsize=(14, 14))
ax = sns.heatmap(selectVec, annot=True, cmap="BuPu")
# 设置y轴字体大小
ax.yaxis.set_tick_params(labelsize=15)
plt.title("Factor Analysis", fontsize="xx-large")
# 设置y轴标签
plt.ylabel("Sepal Width", fontsize="xx-large")
# 显示图片
plt.show()
# 保存图片
# plt.savefig("factorAnalysis", dpi=500)