PCA主成分分析

方法一：自己按照原理编写

1.1 代码

## pca特征降维
# 导入相关模块
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
from numpy.linalg import eig
from sklearn.datasets import load_iris

# 导入数据
iris = load_iris() # 150*4的矩阵，4个特征，行是个数，列是特征
X = iris.data
k = 2  #选取贡献最大的前2个特征作为主成分，根据实际情况灵活选取
# Standardize by remove average通过去除平均值进行标准化
X = X - X.mean(axis=0)

# Calculate covariance matrix:计算协方差矩阵：
X_cov = np.cov(X.T, ddof=0)

# Calculate  eigenvalues and eigenvectors of covariance matrix
# 计算协方差矩阵的特征值和特征向量
eigenvalues, eigenvectors = eig(X_cov)

# top k large eigenvectors选取前k个特征向量
klarge_index = eigenvalues.argsort()[-k:][::-1]
k_eigenvectors = eigenvectors[klarge_index]

# X和k个特征向量进行点乘
X_pca = np.dot(X, k_eigenvectors.T)

1.2 可视化贡献率

## 绘制贡献率图像
tot=sum(eigenvalues)   # 计算特征值的和
var_exp=[(i / tot) for i in sorted(eigenvalues,reverse=True)] # 按照降序排列特征值，并计算贡献率
cum_var_exp=np.cumsum(var_exp)  #累计贡献度
plt.bar(range(1,len(var_exp)+1),var_exp,alpha=0.5,align='center',label='individual var') # 绘制柱状图，
plt.step(range(1,len(var_exp)+1),cum_var_exp,where='mid',label='cumulative var')   # 绘制阶梯图
plt.ylabel('variance rtion')       # 纵坐标
plt.xlabel('principal components') # 横坐标
plt.legend(loc='best')  # 图例位置，右下角
plt.show()

参考：https://blog.csdn.net/qq_36108664/article/details/107850006

方法二：调用库

注意：这里的方法必须建立在标准化的基础上，不然很容易得到的主成分转换系数与原数据相乘不等于拟合值

2.1 导入库

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

from sklearn.decomposition import PCA #从机器学习包中导入主成分分析函数
from sklearn.preprocessing import StandardScaler
%matplotlib inline

2.2 标准化

#导入数据集
df = pd.read_csv('./iris.csv', names=['sepal length','sepal width','petal length','petal width','target'])
df.head()

#标准化
features = ['sepal length', 'sepal width', 'petal length', 'petal width']
# Separating out the features
x = df.loc[:, features].values
# Separating out the target
y = df.loc[:,['target']].values
# Standardizing the features
x = StandardScaler().fit_transform(x)

# 查看标准化之后的数据
pd.DataFrame(data = x, columns = features).head()

查看标准化的结果

2.3 按照原始维度进行一次PCA，得到贡献率进行筛选维度

pca = PCA(n_components=4)
principalComponents = pca.fit_transform(x) #训练模型，并得到主成分变量

#绘制成图
## 绘制贡献率图像
var_exp=pca.explained_variance_ratio_ #获得贡献率
np.set_printoptions(suppress=True) #当suppress=True，表示小数不需要以科学计数法的形式输出
print('各主成分贡献率：',var_exp)

cum_var_exp=np.cumsum(var_exp)  #累计贡献度
print('各主成分累积贡献率：',cum_var_exp)

plt.bar(range(1,len(var_exp)+1),var_exp,alpha=0.5,align='center',label='individual var') # 绘制柱状图，
plt.step(range(1,len(var_exp)+1),cum_var_exp,where='mid',label='cumulative var')   # 绘制阶梯图

# 设置刻度值的字体
#ax=plt.subplot(111) #注意:一般都在ax中设置,不在plot中设置，这个是用来设置多个子图的位置, 
#labels = ax.get_xticklabels() + ax.get_yticklabels()
#[label.set_fontname('Times New Roman') for label in labels]

font = {'family': 'Times New Roman',
         'weight': 'normal'
         }

plt.ylabel('variance rtion', font)       # 纵坐标
plt.xlabel('principal components', font) # 横坐标
para1=[1,2,3,4,5,6,7,8,9]
plt.xticks(para1,para1)
plt.legend(loc='right', prop = font)  # 图例位置，右下角
plt.show()

2.4 使用PCA进行降维到2维, 并查看降维后的结果

# 进行降维
pca = PCA(n_components=2)
principalComponents = pca.fit_transform(x)
# 查看降维后的数据
principalDf = pd.DataFrame(data=principalComponents, columns=['principal component 1', 'principal component 2'])
finalDf = pd.concat([principalDf, df[['target']]], axis = 1)
finalDf.head(5)

2.5 检验使用x和转换系数相乘后是否是降维后的拟合数据值

这一步就是之前说的为什么必须进行数据标准化的原因，因为不进行标准化，小编尝试这里的结果是检验不通过的！

(np.dot(x[0],pca.components_[0]), np.dot(x[0],pca.components_[1]))

输出(-2.2645417283949003, 0.5057039027737843)

由于之前已经进行过标准化，所以这里是检验通过的。

2.6 转换系数的可视化

# 对系数进行可视化
import seaborn as sns
df_cm = pd.DataFrame(np.abs(pca.components_), columns=df.columns[:-1])
plt.figure(figsize = (12,6))
ax = sns.heatmap(df_cm, annot=True, cmap="BuPu")
# 设置y轴的字体的大小
ax.yaxis.set_tick_params(labelsize=15)
ax.xaxis.set_tick_params(labelsize=15)
plt.title('PCA', fontsize='xx-large')
# Set y-axis label
plt.savefig('factorAnalysis.png', dpi=200)

这样就能从图中看出新的变量与原始变量之间的相关性。

2.7 数据降维可视化

fig = plt.figure(figsize = (8,8))
ax = fig.add_subplot(1,1,1)
ax.set_xlabel('Principal Component 1', fontsize = 15)
ax.set_ylabel('Principal Component 2', fontsize = 15)
ax.set_title('2 Component PCA', fontsize = 20)
targets = ['Iris-setosa', 'Iris-versicolor', 'Iris-virginica']
colors = ['r', 'g', 'b']
for target, color in zip(targets,colors):
    indicesToKeep = finalDf['target'] == target
    # 选择某个label下的数据进行绘制
    ax.scatter(finalDf.loc[indicesToKeep, 'principal component 1']
               , finalDf.loc[indicesToKeep, 'principal component 2']
               , c = color
               , s = 50)
ax.legend(targets)
ax.grid()

与因子分析(FA)比较

主成分分析是构造原始变量的组合为新变量；因子分析是原始变量的拆解为若干因子

使用FA的系数矩阵如下所示, 可以看到每一个系数大小差都会变得更加大, 大的变得更大, 小的变得更小, 这样使得新的变量被解释起来会更加容易。

参考：https://mathpretty.com/10998.html#%E4%BD%BF%E7%94%A8PCA%E9%99%8D%E7%BB%B4