# 实现numpy_使用Numpy实现PCA

作者|Guillermina Sutter Schneider
编译|VK
来源|Towards Data Science
原文链接： https:// towardsdatascience.com/ principal-component-analysis-from-scratch-in-numpy-61843da1f967

PCA是一种常用于处理多重共线性的特征提取方法。PCA的最大优点是，在应用它之后，每个“新”变量将彼此独立。

本节基于mattbrems的这篇文章:https://towardsdatascience.com/a-one-stop-shop-for-principal-component-analysis-5582fb7e0a9c。我将一步一步地解释如何只使用numpy（以及使用一点pandas来操作数据帧）来进行PCA。

第1步

首先清理数据集非常重要。由于这不是本文的目标，可以到这个链接中了解具体操作：https://github.com/glosophy/WindPowerForecasting/blob/main/windPowerPCA.ipynb。

第2步

将数据分为因变量（Y）和特征或自变量（X）。

import pandas as pd

features = ['WindSpeed', 'RotorRPM', 'ReactivePower', 'GeneratorWinding1Temperature', 
       'GeneratorWinding2Temperature', 'GeneratorRPM', 'GearboxBearingTemperature', 'GearboxOilTemperature']

# 将数据分离为Y和X
y = data['ActivePower']
X = data[features]

第3步

取自变量X的矩阵，对于每一列，从每个特征中减去该列的平均值。（这样可以确保每列的平均值为零。）也可以通过除以每列的标准差来标准化X。此步骤的目的是标准化特征，使其平均值等于零，标准偏差等于1。

# 减去均值
X = X - X.mean()

# 标准化
Z = X / X.std()

第4步

这是一个健全性检查步骤。让我们确保平均值和标准差分别为0和1。

# 检验均值= 0和标准差= 1
print('MEAN:')
print(Z.mean())
print('---'*15)
print('STD:')
print(Z.std())

第5步

取矩阵Z，转置它，然后将转置后的矩阵乘以Z，这就是Z的协方差矩阵。

import numpy as np

Z = np.dot(Z.T, Z)

第6步

计算的特征值数组和一个特征矩阵，特征矩阵的列是与特征值对应的归一化特征向量。

在这一步中，重要的是要确保特征值及其特征向量按降序排序（从大到小）。对特征值进行排序，然后对特征向量进行相应排序。

eigenvalues, eigenvectors = np.linalg.eig(Z)

第7步

把特征向量的矩阵赋给P，把对角矩阵赋给D，特征值在对角线上，其它地方的值都为零。D对角线上的特征值将与P中相应的列相关联。

D = np.diag(eigenvalues)
P = eigenvectors

第8步

计算Z* = ZP。这个新的矩阵，Z*，是X的中心或标准化版本，但现在每个观测值都是原始变量的组合，其中权重由特征向量确定。

关于这个新矩阵Z*的一个重要的事情是，因为P中的特征向量彼此独立，所以Z*中的列也是相互独立的！

Z_new = np.dot(Z, P)

第9步

有了Z*你就可以决定保留多少特征与删除多少特征。这通常是通过一个scree图来完成的。

scree图显示了每个主成分从数据中捕捉到的变化量。y轴代表变化量（有关scree图以及如何解释它们的更多信息，请参阅这篇文章：https://bioturing.medium.com/how-to-read-pca-biplots-and-scree-plots-186246aae063#:~:text=A%20scree%20plot%20shows%20how,the%20principal%20components%20to%20keep.&text=Proportion%20of%20variance%20plot%3A%20the,least%2080%25%20of%20the%20variance.）。

左边的曲线图显示了从每个主成分中得出的变化量，以及为模型添加或考虑另一个主成分而产生的累积变化量。

选择多少个主成分，归根结底是一个经验法则：所选的主成分应该能够描述至少80-85%的方差。在本例中，仅第一个主成分就解释了大约82%的方差。加上第二个主成分，这个数字几乎达到90%。

#1. 计算每个特征解释的方差的比例
sum_eigenvalues = np.sum(eigenvalues)

prop_var = [i/sum_eigenvalues for i in eigenvalues]

#2. 计算累积方差
cum_var = [np.sum(prop_var[:i+1]) for i in range(len(prop_var))]


# 导入plt
import matplotlib.pyplot as plt

x_labels = ['PC{}'.format(i+1) for i in range(len(prop_var))]

plt.plot(x_labels, prop_var, marker='o', markersize=6, color='skyblue', linewidth=2, label='Proportion of variance')
plt.plot(x_labels, cum_var, marker='o', color='orange', linewidth=2, label="Cumulative variance")
plt.legend()
plt.title('Scree plot')
plt.xlabel('Principal components')
plt.ylabel('Proportion of variance')
plt.show()

如果你想知道如何在数据上下文中解释，这篇文章特别容易理解：https://blogs.sas.com/content/iml/2019/11/04/interpret-graphs-principal-components.html。他们使用iris数据集，并使用scree、profile和pattern图给出了许多示例。

希望你觉得这篇文章有帮助！可以在这里看到完整的Python脚本：https://github.com/glosophy/WindPowerForecasting/blob/main/windPowerPCA.ipynb。

感谢阅读！