Python实现主成分分析（PCA）降维：原理及实例分析

转载文章：Python实现主成分分析（PCA）降维：原理及实例分析

---

简介

降维是由一些问题带来的：

• 可以缓解由维度诅咒（高维）带来的问题；
• 可以用来压缩数据，将损失数据最小化；
• 可以将高维数据降到低维进行可视化。
• 主成分分析（Principal components analysis，简称PCA）是最重要的降维方法之一。一般我们提到降- 维最容易想到的算法就是PCA，下面我们就对PCA的原理做一个总结。

PCA的scikit-learn实现

scikit-learn集成了PCA方法，调用起来也更加方便。需要注意的是，在scikit-learn中使用了奇异值分解来计算特征向量和特征值。PCA的调用方法非常简单，这里列出全部代码。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.datasets.samples_generator import make_blobs

X, y = make_blobs(n_samples=10000, n_features=3, centers=[[3, 3, 3], [0, 0, 0], [1, 1, 1], [2, 2, 2]],
                  cluster_std=[0.2, 0.1, 0.2, 0.2], random_state=9)

# 降维到二维
pca = PCA(n_components=2)
pca.fit(X)
# 输出特征值
print(pca.explained_variance_)
输出特征向量
print(pca.components_)
# 降维后的数据
X_new = pca.transform(X)
print(X_new)
fig = plt.figure()
plt.scatter(X_new[:, 0], X_new[:, 1], marker='o')
plt.show()

pca.transform(X)为降维之后的数据，从100003 -> 100002

结果如下：

# 特征值
[3.78521638 0.03272613]
# 特征向量
[[ 0.57601622  0.57846191  0.57757002]
 [-0.32920617 -0.48256882  0.81163454]]
# 降维后的结果
[[ 1.29049617  0.01162118]
 [-2.5902227  -0.04141849]
 [ 2.81225258 -0.05286925]
 ...
 [ 2.52492314 -0.0935418 ]
 [ 2.98206456  0.03861322]
 [ 2.28089246 -0.13618233]]

需要注意的是PCA()方法中的参数设置：

pca = PCA(n_components=0.95)

当n_components=0.95表示指定了主成分累加起来至少占95%的那些成分。

pca = PCA(n_components='mle')

当n_components='mle'表示让MLE算法自己选择降维维度的效果。