Python机器学习应用-降维之PCA

主成分分析(PCA)

  • 主成分分析(Principal Component Analysis, PCA)是最常用的一种降维方式,通常用于高维数据集的探索与可视化,还可以用作数据压缩和预处理。
  • PCA可以把具有相关性的高维变量合成为线性无关的低维变量,称为主成分。主成分能够尽可能保留原始数据的信息。

相关术语:

  • 方差:是各个样本和样本均值的差的平方和的均值,用来度量一组数据分分散程度。
    S2=i=1n(xix)2n1
  • 协方差:用于度量两个变量之间的线性相关性程度,若两个变量的协方差为0,则可认为二者线性无关。协方差矩阵则是由变量的协方差值构成的矩阵(对矩阵)。
    Cov(X,Y)=i=1n(XiX¯)(YiY¯)n1
  • 特征向量:矩阵的特征向量是描述数据集结构的非零向量并满足如下公式:
    Av¯=λv¯

    A是方阵,v¯是特征向量,λ是特征值。

PCA原理

矩阵的主成分就是其协方差矩阵对应的特征向量,按照对应的特征值大小进行排序,最大的特征值就是第一主成分,其次是第二主成分,以此类推。

PCA算法过程

  • 输入:样本集D={x1,x2,,xm}; 低维空间维数d
  • 过程:
    1 对所有样本进行中心化:xixi1mi=1mxi
    2 计算样本的协方差矩阵XXT
    3 对协方差矩阵XXT做特征值分解;
    4 取最大的d个特征值所对应的特征向量w1,w2,,wd
  • 投影矩阵W=(w1,w2,,wd)

sklearn中主成分分析

在sklearn库中,可以使用sklearn.decomposition.PCA加载PCA进行降维,主要参数有:

  • n_components:指定主成分的个数,即降维后数据的维度。
  • svd_solver:设置特征值分解的方法,默认为‘auto’,其他可选有‘full’, ‘arpack’, ‘randomized’。

算法实例:PCA实现高维数据可视化

目标:

已知鸢尾花数据是4维的,共三类样本。使用PCA实现对鸢尾花数据降维,实现在二维平面上的可视化。
\center这里写图片描述

实例程序编写

1 建立工程,导入sklearn相关工具包:

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.datasets import load_iris

2 加载数据并进行降维:

data = load_iris()
y = data.target
X = data.data
pca = PCA(n_components=2)
reduced_X = pca.fit_transform(X)

3 按类别对降维后的数据进行保存:

red_x, red_y = [], []
blue_x, blue_y = [], []
green_x, green_y = [], []

for i in range(len(reduced_X)):
    if y[i] == 0:
        red_x.append(reduced_X[i][0])
        red_y.append(reduced_X[i][1])
    elif y[i] == 1:
        blue_x.append(reduced_X[i][0])
        blue_y.append(reduced_X[i][1])
    else:
        green_x.append(reduced_X[i][0])
        green_y.append(reduced_X[i][1])

4 降维后数据点的可视化:

plt.scatter(red_x, red_y, c='r', marker='x')
plt.scatter(blue_x, blue_y, c='b', marker='D')
plt.scatter(green_x, green_y, c='g', marker='.')
plt.show()

这里写图片描述
我们可以看出,降维后的数据仍能够清晰地分成三类。这样不仅能削减数据的维度,降低分类任务的工作量,还能保证分类的质量。

附件

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.datasets import load_iris

data = load_iris()
y = data.target
X = data.data
pca = PCA(n_components=2)
reduced_X = pca.fit_transform(X)

red_x, red_y = [], []
blue_x, blue_y = [], []
green_x, green_y = [], []

for i in range(len(reduced_X)):
    if y[i] == 0:
        red_x.append(reduced_X[i][0])
        red_y.append(reduced_X[i][1])
    elif y[i] == 1:
        blue_x.append(reduced_X[i][0])
        blue_y.append(reduced_X[i][1])
    else:
        green_x.append(reduced_X[i][0])
        green_y.append(reduced_X[i][1])

plt.scatter(red_x, red_y, c='r', marker='x')
plt.scatter(blue_x, blue_y, c='b', marker='D')
plt.scatter(green_x, green_y, c='g', marker='.')
plt.show()
阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页