主成分分析(PCA)
- 主成分分析(Principal Component Analysis, PCA)是最常用的一种降维方式,通常用于高维数据集的探索与可视化,还可以用作数据压缩和预处理。
- PCA可以把具有相关性的高维变量合成为线性无关的低维变量,称为主成分。主成分能够尽可能保留原始数据的信息。
相关术语:
- 方差:是各个样本和样本均值的差的平方和的均值,用来度量一组数据分分散程度。
S2=∑ni=1(xi−x)2n−1 S 2 = ∑ i = 1 n ( x i − x ) 2 n − 1 - 协方差:用于度量两个变量之间的线性相关性程度,若两个变量的协方差为0,则可认为二者线性无关。协方差矩阵则是由变量的协方差值构成的矩阵(对矩阵)。
Cov(X,Y)=∑ni=1(Xi−X¯)(Yi−Y¯)n−1 C o v ( X , Y ) = ∑ i = 1 n ( X i − X ¯ ) ( Y i − Y ¯ ) n − 1 - 特征向量:矩阵的特征向量是描述数据集结构的非零向量并满足如下公式:
Av¯=λv¯ A v ¯ = λ v ¯
A A 是方阵,是特征向量, λ λ 是特征值。
PCA原理
矩阵的主成分就是其协方差矩阵对应的特征向量,按照对应的特征值大小进行排序,最大的特征值就是第一主成分,其次是第二主成分,以此类推。
PCA算法过程
- 输入:样本集 D={x1,x2,…,xm} D = { x 1 , x 2 , … , x m } ; 低维空间维数 d′ d ′ 。
- 过程:
1 对所有样本进行中心化: xi←xi−1m∑mi=1xi x i ← x i − 1 m ∑ i = 1 m x i ;
2 计算样本的协方差矩阵 XXT X X T ;
3 对协方差矩阵 XXT X X T 做特征值分解;
4 取最大的 d′ d ′ 个特征值所对应的特征向量 w1,w2,…,wd′ w 1 , w 2 , … , w d ′ 。 - 投影矩阵 W=(w1,w2,…,wd′) W = ( w 1 , w 2 , … , w d ′ )
sklearn中主成分分析
在sklearn库中,可以使用sklearn.decomposition.PCA加载PCA进行降维,主要参数有:
- n_components:指定主成分的个数,即降维后数据的维度。
- svd_solver:设置特征值分解的方法,默认为‘auto’,其他可选有‘full’, ‘arpack’, ‘randomized’。
算法实例:PCA实现高维数据可视化
目标:
已知鸢尾花数据是4维的,共三类样本。使用PCA实现对鸢尾花数据降维,实现在二维平面上的可视化。
\center
实例程序编写
1 建立工程,导入sklearn相关工具包:
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.datasets import load_iris
2 加载数据并进行降维:
data = load_iris()
y = data.target
X = data.data
pca = PCA(n_components=2)
reduced_X = pca.fit_transform(X)
3 按类别对降维后的数据进行保存:
red_x, red_y = [], []
blue_x, blue_y = [], []
green_x, green_y = [], []
for i in range(len(reduced_X)):
if y[i] == 0:
red_x.append(reduced_X[i][0])
red_y.append(reduced_X[i][1])
elif y[i] == 1:
blue_x.append(reduced_X[i][0])
blue_y.append(reduced_X[i][1])
else:
green_x.append(reduced_X[i][0])
green_y.append(reduced_X[i][1])
4 降维后数据点的可视化:
plt.scatter(red_x, red_y, c='r', marker='x')
plt.scatter(blue_x, blue_y, c='b', marker='D')
plt.scatter(green_x, green_y, c='g', marker='.')
plt.show()
我们可以看出,降维后的数据仍能够清晰地分成三类。这样不仅能削减数据的维度,降低分类任务的工作量,还能保证分类的质量。
附件
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.datasets import load_iris
data = load_iris()
y = data.target
X = data.data
pca = PCA(n_components=2)
reduced_X = pca.fit_transform(X)
red_x, red_y = [], []
blue_x, blue_y = [], []
green_x, green_y = [], []
for i in range(len(reduced_X)):
if y[i] == 0:
red_x.append(reduced_X[i][0])
red_y.append(reduced_X[i][1])
elif y[i] == 1:
blue_x.append(reduced_X[i][0])
blue_y.append(reduced_X[i][1])
else:
green_x.append(reduced_X[i][0])
green_y.append(reduced_X[i][1])
plt.scatter(red_x, red_y, c='r', marker='x')
plt.scatter(blue_x, blue_y, c='b', marker='D')
plt.scatter(green_x, green_y, c='g', marker='.')
plt.show()