机器学习-9 降维算法——PCA降维

算法概述

降维的概念

①降维（Dimensionality Reduction，DR）是指采用线性或者非线性的映射方法将高维空间的样本映射到低维空间中。
②降维获得低维空间的数据等价表示，实现高维数据的可视化呈现。

降维的作用

①在原始的高维空间中，包含有冗余信息以及噪声信息。图像识别中如果噪声太多会造成误差，降低识别准确率；通过降维，可以减少冗余信息所造成的误差，提高识别的精度、降低算法开销。
②通过降维可以寻找数据内部的本质结构特征。
③降维可以得到原始数据的简化表示以加速后续处理或者改进输出结果，即降维可以得到原始数据的简化表示以加速后续处理或者改进输出结果，因此它已经成为很多算法数据进行预处理的重要手段。

降维的本质

在机器学习领域，降维的本质是学习一个映射函数$f:x->y$，其中x是原始数据点的表达，目前最多使用向量表达形式。y是数据点映射后的低维向量表达，通常y的维度小于x的维度。y可能是显式的或隐式的、线性的或非线性的函数。

常见算法分类

降维算法可分为线性降维和非线性降维两大类：

• 线性降维假设构成数据集的各变量间独立无关。
  1）主成分分析（Principal Component Analysis，PCA）
  2）独立成分分析（Independent Component Analysis，ICA）
  3）线性判别分析（Linear Discriminant Analysis，LDA）
• 非线性降维方法，也称为流形学习方法（Manifold Learning），其目标是从高维采样数据中恢复低维流形结构，不改变数据本身的拓扑特性。（了解为主，本文主要讲解PCA）
  1）基于保持全局结构信息，如等距离映射算法ISOMAP。
  2）关注局部结构信息，如LLE、LE、HLLE。

主成分分析（PCA）

• 主成分分析（Principal Component Analysis，PCA）是最常用的一种降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的方差最大，以此使用较少的维度，同时保留较多原数据的维度。具体而言，PCA可以把具有相关性的高维变量合成为线性无关的低维变量，称为主成分。主成分能够尽可能保留原始数据的信息。
• PCA算法目标是求出样本数据的协方差矩阵的特征值和特征向量，而协方差矩阵的特征向量的方向就是PCA需要投影的方向。使样本数据向低维投影后，能尽可能表征原始的数据。
• 如果把所有的点都映射到一起，那么几乎所有的区分信息都丢失了，而如果映射后方差尽可能的大，那么数据点则会分散开来，特征更加明显。PCA是丢失原始数据信息最少的一种线性降维方法，最接近原始数据。

降维分析

通俗的来讲，二维数据就是把点投射成一条线，数据集的每个样本都可以用一个值表示，不需要两个值。三维数据可以降成二维，就是把变量映射到一个平面。一般情况下，n维数据集可以映射降成k维子空间，其中k<n。

数据压缩2D-1D：

降维原则是要找到数据最重要的方向，也就是方差最大的方向。如下图所示，红线和紫线均可作为二维平面中数据点要投射的线，但是相比之下，数据点在红线上的分布比在紫线上更为分散，这样的话可以区分出数据点的特征，所以投射为红线要比投射到紫线的效果更好。

数据压缩3D-2D：

降维原则其实与2D-1D的数据压缩一样，也是找数据差异性最大的方向，但是由于三维、四维乃至五维空间中主成分不止一个，所以要按照数据差异性程度大小进行排序从而寻找到所有的主成分。
如下图，第一个主成分就是从数据差异性最大（方差最大）的方向提取出来的，第二个主成分则来自数据差异性次大的方向，并且要与第一个主成分方向正交。

原理：矩阵的主成分就是其协方差矩阵对应的特征向量，按照对应的特征值大小进行排序，最大的特征值就是第一主成分，其次是第二主成分，以此类推。

算法流程

PCA算法的流程图

PCA算法的实现步骤

①将原始数据按行组成m行n列的矩阵X；
②将X的每一列（代表一个属性字段）进行零均值化，即减去这一列的均值；
③求出协方差矩阵；
④求出协方差矩阵的特征值及对应的特征向量r；
⑤将特征向量按对应特征值大小从左到右按列排列成矩阵，取前k列组成矩阵P；
⑥计算降维到k维的数据。

协方差矩阵

• 方差描述一个数据的离散程度：
  $$var(X)=\frac{{\sum }_{i=1}^m(X_i-\overline{X}{)}^2}{m}$$
• 协方差描述两个数据的相关性，接近1就是正相关，接近-1就是负相关，接近0就是不相关。
  $$cov(X,Y)=\frac{{\sum }_{i=1}^m(X_i-\overline{X})(Y_i-\overline{Y})}{m}$$
  协方差只能处理二维问题，那维数多了自然需要计算多个协方差，我们可以使用矩阵来组织这些数据。
  协方差矩阵是一个对称的矩阵，而且对角线是各个维度的方差。
  二维的例子：
  $$C=\left(\begin{array}{cc}cov(x,x)& cov(x,y)\\ cov(y,x)& cov(y,y)\end{array}\right)$$
  三维的例子：
  $$C=\left(\begin{array}{ccc}cov(x,x)& cov(x,y)& cov(x,z)\\ cov(y,x)& cov(y,y)& cov(y,z)\\ cov(z,x)& cov(z,y)& cov(z,z)\end{array}\right)$$
• 协方差矩阵
  n个特征，m个样本。n行m列：
  $$X=\left[\begin{array}{ccc}{X}_1& & \\ ⋮& \ddots & ⋮\\ X_n& & \end{array}\right]=\left[\begin{array}{ccc}{x}_1^1& \cdots & x_1^m\\ ⋮& \ddots & ⋮\\ x_n^1& \cdots & x_n^m\end{array}\right]$$
  n行m列乘m行n列->n行n列：
  $$X{X}_T=\sum =\left[\begin{array}{ccc}{\sum }_{11}^{}& \cdots & {\sum }_{1n}^{}\\ ⋮& \ddots & ⋮\\ {\sum }_{n1}^{}& \cdots & {\sum }_{nn}^{}\end{array}\right]$$
  通过数据集的协方差矩阵及其特征值分析，我们可以得到协方差矩阵的特征向量和特征值，我们需要保留k个维度的特征就选取最大的k个特征值。
  注：矩阵的特征值和特征矩阵的定义不再介绍，感兴趣的小伙伴可以学习线性代数的基础知识。

算法应用

sklearn库中的主成分分析

在sklearn库中，可以使用sklearn.decomposition.PCA加载PCA进行降维，主要参数有：

• n_components：指定主成分的个数，即降维后数据的维度。
• svd_solver：设置特征值分解的方法，默认为’auto’，其他可选的有’full’、‘arpack’、‘randomized’。

PCA实现高维数据可视化

鸢尾花案例

**目标：**已知鸢尾花数据是4维的，共三类样本。使用PCA实现对鸢尾花数据进行降维，实现在二维平面上的可视化。

实例程序编写：

#1.导入sklearn相关工具包
#加载matplotlib用于数据的可视化
import matplotlib.pyplot as plt
#加载PCA算法包
from sklearn.decomposition import PCA
#加载鸢尾花数据集导入函数
from sklearn.datasets import load_iris
#2.加载数据并进行降维
#以字典形式加载鸢尾花数据集
data=load_iris()
#使用y表示数据集中的标签
y=data.target
#使用X表示数据集中的属性数据
X=data.data
#加载PCA算法，设置降维后主成分数目为2，即降为2维
pca=PCA(n_components=2)
#对原始数据进行降维，保存在reduced_X中
reduced_X=pca.fit_transform(X)
#3.按类别对降维后的数据进行保存
#第一类数据点
red_x,red_y=[],[]
#第二类数据点
blue_x,blue_y=[],[]
#第三类数据点
green_x,green_y=[],[]
#按照鸢尾花的类别将降维后的数据点保存在不同的列表中
for i in range(len(reduced_X)):
    if y[i]==0:
        red_x.append(reduced_X[i][0])
        red_y.append(reduced_X[i][1])
    elif y[i]==1:
        blue_x.append(reduced_X[i][0])
        blue_y.append(reduced_X[i][1])
    else:
        green_x.append(reduced_X[i][0])
        green_y.append(reduced_X[i][1])
#4.降维后数据点的可视化
plt.scatter(red_x,red_y,c='r',marker='x')
plt.scatter(blue_x,blue_y,c='b',marker='D')
plt.scatter(green_x,green_y,c='g',marker='.')
plt.show()

实验结果：

手写体数字图像识别案例

实现思路：

• 首先，使用sklearn中自带的手写数字数据集load_digits获得手写数字图像数据并存于digits变量中。利用train_test_split方法分割数据，并随机选取80%数据作为训练样本x_train，20%作为测试样本y_train；从sklearn.preprocessing里导入数据标准化模块StandardScaler，对训练和测试的特征数据进行标准化。
• 然后，分别训练两个以支持向量机分类器SVC为基础的手写数字图像识别模型，其中一个模型使用原始维度即64维的像素特征识别，另一个采用PCA降维重构之后的低维特征来识别图像特征，其中n_components设置为10，也就是将64维降到10维。预测出分类结果后，分别比较两个模型的准确率评分以及分类报告。
• 最后，展示前100个测试样本数据以及PCA降维后的SVC分类结果。

实例程序编写：

import matplotlib.pyplot as plt
from sklearn.svm import SVC
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.metrics import classification_report
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_digits
#使用sklearn中自带的手写数字数据集load_digits获得手写数字图像数据并存于digits变量中
digits=load_digits()
train=digits.data
target=digits.target
#利用train_test_split方法分割数据，并随机选取80%数据作为训练样本x_train，20%作为测试样本y_train
x_train,x_test,y_train,y_true=train_test_split(train,target,test_size=0.2,random_state=33)
#从sklearn.preprocessing里导入数据标准化模块StandardScaler,对训练和测试的特征数据进行标准化
ss=StandardScaler()
x_train=ss.fit_transform(x_train)
x_test=ss.transform(x_test)
#分别训练两个以支持向量机分类器SVC为基础的手写数字图像识别模型
svc=SVC(kernel="rbf")
svc.fit(x_train,y_train)
y_predict=svc.predict(x_test)
print('The Accuracy of SVC is',svc.score(x_test,y_true))
print("classification report of SVC\n",classification_report(y_true,y_predict,target_names=digits.target_names.astype(str)))
#采用PCA降维重构之后的低维特征来识别图像特征
#将64维降到10维
pca=PCA(n_components=10,whiten=True)
pca.fit(x_train,y_train)
x_train_pca=pca.transform(x_train)
x_test_pca=pca.transform(x_test)
svc=SVC(kernel="rbf")
svc.fit(x_train_pca,y_train)
y_pre_svc=svc.predict(x_test_pca)
print("The Accuracy of PCA_SVC is",svc.score(x_test_pca,y_true))
print("classification report of PCA_SVC\n",classification_report(y_true,y_pre_svc,target_names=digits.target_names.astype(str)))
samples=x_test[:100]
y_pre=y_pre_svc[:100]
plt.figure(figsize=(12,38))
#展示前100个测试样本数据以及PCA降维后的SVC分类结果
for i in range(100):
    plt.subplot(10,10,i+1)
    plt.imshow(samples[i].reshape(8,8),cmap='gray')
    title=str(y_pre[i])
    plt.title(title)
    plt.axis('off')
plt.show()

实验结果：
SVC：

PCA_SVC:

识别结果：

结果分析：
从结果中可以看到，经过PCA算法降维压缩后的数据从64维降低到10维，和原始数据相比降低了84%的维度，与此同时预测准确率也从98.9%降低到94.7%。
随着后期的参数调优以及适当增加训练次数，预测准确率仍旧可以提高。从这个角度来看，以PCA为代表的特征降维方法使用较少的数据维度却保留住较多的原始数据的特性，能够规避大量的特征冗余和噪声，同时能够节省更多用于模型训练的运行时间。
通俗的来讲，降维算法只是数据处理和保存的一种手段，无论是什么降维算法，必然会导致原始数据信息的丢失，只不过PCA算法是丢失原始数据信息最少的一种线性降维方法。

算法总结

PCA算法的优点

• 仅仅需要以方差衡量信息量，不受数据集以外的因素影响。
• 各主成分之间正交，可消除原始数据成分间的相互影响的因素。
• 计算方法简单，主要运算是特征值分解，易于实现。

PCA算法的缺点

• 主成分各个特征维度的含义具有一定的模糊性，不如原始样本特征的解释性强。
• 方差小的非主成分也可能含有对样本差异的重要信息，降维丢弃的数据可能对后续数据处理有影响。