1 主成分分析(PCA)
1、主成分分析(Principal Component Analysis,PCA)是最常用的一种降维方法,通常用于高维数据集的探索与可视化,还可以用作数据压缩和预处理等。
2、PCA可以把具有相关性的高维变量合成为线性无关的低维变量,称为主成分。主成分能够尽可能保留原始数据的信息。
3、矩阵的主成分就是其协方差矩阵对应的特征向量,按照对应的特征值大小进行排序,最大的特征值就是第一主成分,其次是第二主成分,以此类推。
2 算法过程
输入:样本集
D=
{
x1,x2,...,xm
};低维空间维数
d′
过程:
1、对所有样本进行中心化:
x1←xi−1m∑mi=1xi
;
2、计算样本的协方差矩阵
XXT
;
3、对协方差矩阵
XXT
做特征值分解;
4、取最大的
d′
个特征值所对应的特征值
w1,w2,...,wd′
;
输出:投影矩阵
W=(w1,w2,...,wd′)
。
3 sklearn中主成分分析
在sklearn库中,可以使用sklearn.decomposition.PCA加载PCA进行降维,主要参数有:
• n_components:指定主成分的个数,即降维后数据的维度
• svd_solver :设置特征值分解的方法,默认为‘auto’,其他可选有‘full’, ‘arpack’, ‘randomized’。
4 PCA实现高维数据可视化
4.1 背景
目标:已知鸢尾花数据是4维的,共三类样本。使用PCA实现对鸢尾花数据进行降维,实现在二维平面上的可视化。
4.2 程序编写
4.2.1 建立工程,导入sklearn相关工具包:
>>> import matplotlib.pyplot as plt
#加载matplotlib用于数据的可视化
>>> from sklearn.decomposition import PCA
#加载PCA算法包
>>> from sklearn.datasets import load_iris
#加载鸢尾花数据集导入函数
4.2.2 加载数据并进行降维
>>> data = load_iris()
#以字典形式加载鸢尾花数据集
>>> y = data.target #使用y表示数据集中的标签
>>> X = data.data #使用X表示数据集中的属性数据
>>> pca = PCA(n_components=2)
#加载PCA算法,设置降维后主成分数目为2
>>> reduced_X = pca.fit_transform(X)
#对原始数据进行降维,保存在reduced_X中
4.2.3 按类别对降维后的数据进行保存
>>> red_x, red_y = [], []
#第一类数据点
>>> blue_x, blue_y = [], []
#第二类数据点
>>> green_x, green_y = [], []
#第三类数据点
>>> for i in range(len(reduced_X)):
>>> if y[i] == 0:
>>> red_x.append(reduced_X[i][0])
>>> red_y.append(reduced_X[i][1])
>>> elif y[i] == 1:
>>> blue_x.append(reduced_X[i][0])
>>> blue_y.append(reduced_X[i][1])
>>> else:
>>> green_x.append(reduced_X[i][0])
>>> green_y.append(reduced_X[i][1])
4.2.4 降维后数据点的可视化
>>> plt.scatter(red_x, red_y, c='r', marker='x')
#第一类数据点
>>> plt.scatter(blue_x, blue_y, c='b', marker='D')
#第二类数据点
>>> plt.scatter(green_x, green_y, c='g', marker='.')
#第三类数据点
>>> plt.show()
#可视化
4.3 结果展示
可以看出,降维后的数据仍能够清晰地分成三类。这样不仅能削减数据的维度,降低分类任务的工作量,还能保证分类的质量。