Python机器学习应用-降维之PCA

主成分分析（PCA）

• 主成分分析（Principal Component Analysis， PCA）是最常用的一种降维方式，通常用于高维数据集的探索与可视化，还可以用作数据压缩和预处理。
• PCA可以把具有相关性的高维变量合成为线性无关的低维变量，称为主成分。主成分能够尽可能保留原始数据的信息。

相关术语：

• 方差：是各个样本和样本均值的差的平方和的均值，用来度量一组数据分分散程度。
  $$S^2=\frac{\sum_{i=1}^n(x_i-x)^2}{n-1}$$
• 协方差：用于度量两个变量之间的线性相关性程度，若两个变量的协方差为0，则可认为二者线性无关。协方差矩阵则是由变量的协方差值构成的矩阵（对矩阵）。
  $$Cov(X,Y)=\frac{\sum_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{n-1}$$
• 特征向量：矩阵的特征向量是描述数据集结构的非零向量并满足如下公式：
  $$A\bar{v}=\lambda\bar{v}$$
  $A$是方阵，$\bar{v}$是特征向量，$\lambda$是特征值。

PCA原理

矩阵的主成分就是其协方差矩阵对应的特征向量，按照对应的特征值大小进行排序，最大的特征值就是第一主成分，其次是第二主成分，以此类推。

PCA算法过程

• 输入：样本集$D=\{x_1, x_2, \dots, x_m\}$; 低维空间维数$d'$。
• 过程：
  1 对所有样本进行中心化：$x_i \leftarrow x_i-\frac{1}{m}\sum_{i=1}^{m}x_i$；
  2 计算样本的协方差矩阵$XX^T$；
  3 对协方差矩阵$XX^T$做特征值分解；
  4 取最大的$d'$个特征值所对应的特征向量$w_1, w_2, \dots, w_{d'}$。
• 投影矩阵$W=(w_1, w_2, \dots, w_{d'})$

sklearn中主成分分析

在sklearn库中，可以使用sklearn.decomposition.PCA加载PCA进行降维，主要参数有：

• n_components：指定主成分的个数，即降维后数据的维度。
• svd_solver：设置特征值分解的方法，默认为‘auto’，其他可选有‘full’， ‘arpack’， ‘randomized’。

算法实例：PCA实现高维数据可视化

目标：

已知鸢尾花数据是4维的，共三类样本。使用PCA实现对鸢尾花数据降维，实现在二维平面上的可视化。
\center

实例程序编写

1 建立工程，导入sklearn相关工具包：

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.datasets import load_iris

2 加载数据并进行降维：

data = load_iris()
y = data.target
X = data.data
pca = PCA(n_components=2)
reduced_X = pca.fit_transform(X)

3 按类别对降维后的数据进行保存：

red_x, red_y = [], []
blue_x, blue_y = [], []
green_x, green_y = [], []

for i in range(len(reduced_X)):
    if y[i] == 0:
        red_x.append(reduced_X[i][0])
        red_y.append(reduced_X[i][1])
    elif y[i] == 1:
        blue_x.append(reduced_X[i][0])
        blue_y.append(reduced_X[i][1])
    else:
        green_x.append(reduced_X[i][0])
        green_y.append(reduced_X[i][1])

4 降维后数据点的可视化：

plt.scatter(red_x, red_y, c='r', marker='x')
plt.scatter(blue_x, blue_y, c='b', marker='D')
plt.scatter(green_x, green_y, c='g', marker='.')
plt.show()

我们可以看出，降维后的数据仍能够清晰地分成三类。这样不仅能削减数据的维度，降低分类任务的工作量，还能保证分类的质量。

附件

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.datasets import load_iris

data = load_iris()
y = data.target
X = data.data
pca = PCA(n_components=2)
reduced_X = pca.fit_transform(X)

red_x, red_y = [], []
blue_x, blue_y = [], []
green_x, green_y = [], []

for i in range(len(reduced_X)):
    if y[i] == 0:
        red_x.append(reduced_X[i][0])
        red_y.append(reduced_X[i][1])
    elif y[i] == 1:
        blue_x.append(reduced_X[i][0])
        blue_y.append(reduced_X[i][1])
    else:
        green_x.append(reduced_X[i][0])
        green_y.append(reduced_X[i][1])

plt.scatter(red_x, red_y, c='r', marker='x')
plt.scatter(blue_x, blue_y, c='b', marker='D')
plt.scatter(green_x, green_y, c='g', marker='.')
plt.show()