人工智能（降维）——主成分分析（PCA)

目录

1 知识回顾

1.1 方差 

1.2 协方差

1.3 特征向量和特征值

2 主要成份分析 

2.1 数据降维

2.2 主成分分析原理

2.3 算法过程 

3 参数说明 

3.1 sklearn.decomposition.PCA

3.2 PCA对象的方法 

4 案例 

5 Python代码实现

5.1 代码

5.2 结果

---

1 知识回顾

在介绍 PCA 的原理之前需要回顾涉及到的相关术语：

• 方差

• 协方差

• 协方差矩阵

• 特征向量和特征值

1.1 方差 

方差：是各个样本和样本均值的差的平方和的均值， 用来度量一组数据的分散程度。

1.2 协方差

用于 度量两个变量之间的线性相关性程度 ，若两个变量的协方差为0 ，则可认为二者线性无关。协方差矩阵则是由变量的协方差值构成的矩阵（对称阵）。

1.3 特征向量和特征值

特征向量：矩阵的特征向量是描述数据集结构的非零向量，并满足如下公式：

     

A是方阵， 𝒗是特征向量，𝝀是特征值。 

2 主要成份分析 

2.1 数据降维

降维就是一种对高维度特征数据预处理方法。降维是将高维度的数据保留下最重要的一些特征，去除噪声和不重要的特征，从而实现提升数据处理速度的目的。在实际的生产和应用中，降维在一定的信息损失范围内，可以为我们节省大量的时间和成本。降维也成为应用非常广泛的数据预处理方法。

降维具有如下一些优点：

1) 使得数据集更易使用。
2) 降低算法的计算开销。
3) 去除噪声。
4) 使得结果容易理解。
降维的算法有很多，比如奇异值分解(SVD)、主成分分析(PCA)、因子分析(FA)、独立成分分析(ICA)。

2.2 主成分分析原理

(1)主成分分析（ Principal Component Analysis ， PCA ）是最常用的

一种降维方法，通常用于高维数据集的探索与可视化，还可以用作数

据压缩和预处理等。

(2)PCA 可以把具有相关性的高维变量合成为线性无关的低维变量，称为

主成分。主成分能够尽可能保留原始数据的信息

原理 ：矩阵的主成分就是其协方差矩阵对应的特征向量，按照对应的特征值大小进行排序，最大的特征值就是第一主成分，其次是第二主成分，以此类推。

2.3 算法过程 

  

3 参数说明 

3.1 sklearn.decomposition.PCA

sklearn.decomposition.PCA(n_components=None, copy=True, whiten=False)

参数说明：

--------------------------------------------------

n_components: 

意义：PCA算法中所要保留的主成分个数n，也即保留下来的特征个数n
类型：int 或者 string，缺省时默认为None，所有成分被保留。
          赋值为int，比如n_components=1，将把原始数据降到一个维度。
          赋值为string，比如n_components='mle'，将自动选取特征个数n，使得满足所要求的方差百分比。
————————————————
copy:

类型：bool，True或者False，缺省时默认为True。
意义：表示是否在运行算法时，将原始训练数据复制一份。若为True，则运行PCA算法后，原始训练数据的值不            会有任何改变，因为是在原始数据的副本上进行运算；若为False，则运行PCA算法后，原始训练数据的              值会改，因为是在原始数据上进行降维计算。
————————————————
whiten:

类型：bool，缺省时默认为False

意义：白化，使得每个特征具有相同的方差。如果为 True，它将分量向量标准化为单位方差，这在某些情况下可用于预测模型（默认为 False）

---------------------------------------------------

svd_solver ：设置特征值分解的方法，默认为‘auto’,其他可选有

‘full’, ‘arpack’, ‘randomized’。

对于 svd_solver=full，有两个附加选项：区间 [0, 1] 中的浮点数计算保留数据中相应方差份额所需的分量数，选项 mle 使用以下方法估计维数最大似然。

3.2 PCA对象的方法 

------------------------------------------------

fit(X,y=None)：

fit()可以说是scikit-learn中通用的方法，每个需要训练的算法都会有fit()方法，它其实就是算法中的“训练”这一步骤。因为PCA是无监督学习算法，此处y自然等于None。

fit(X)，表示用数据X来训练PCA模型。

函数返回值：调用fit方法的对象本身。比如pca.fit(X)，表示用X对pca这个对象进行训练。
————————————————
fit_transform(X)：

用X来训练PCA模型，同时返回降维后的数据。

newX=pca.fit_transform(X)，newX就是降维后的数据。

---------------------------------------------------

transform(X)：

将数据X转换成降维后的数据。当模型训练好后，对于新输入的数据，都可以用transform方法来降维。

4 案例 

目标：已知鸢尾花数据是4维的，共三类样本。使用PCA实现对鸢尾花数据进行降维，实现在

二维平面上的可视化。

                              

5 Python代码实现

5.1 代码

#===========1. 建立工程，导入sklearn相关工具包：============
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA    ##加载PCA算法包
from sklearn.datasets import load_iris   #加载鸢尾花数据集导入函数

#=====2. 加载数据并进行降维=============================
data = load_iris()      #以字典形式加载鸢尾花数据集
y = data.target          #使用y表示数据集中的标签
X = data.data             #使用X表示数据集中的属性数据
pca = PCA(n_components=2)    #加载PCA算法，设置降维后主成分数目为2
reduced_X = pca.fit_transform(X)   #对原始数据进行降维，保存在reduced_X中

#======3. 按类别对降维后的数据进行保存：==================
red_x, red_y = [], []        #第一类数据点
blue_x, blue_y = [], []       #第二类数据点
green_x, green_y = [], []      #第三类数据点

for i in range(len(reduced_X)):   #按照鸢尾花的类别将降维后的数据点保存在不同的列表中。
    if y[i] == 0:
        red_x.append(reduced_X[i][0])
        red_y.append(reduced_X[i][1])
    elif y[i] == 1:
        blue_x.append(reduced_X[i][0])
        blue_y.append(reduced_X[i][1])
    else:
        green_x.append(reduced_X[i][0])
        green_y.append(reduced_X[i][1])

#=======4. 降维后数据点的可视化=======================
plt.scatter(red_x, red_y, c='r', marker='x')
plt.scatter(blue_x, blue_y, c='b', marker='D')
plt.scatter(green_x, green_y, c='g', marker='.')
plt.show()

5.2 结果