PCA降维---python

PCA降维---python

PCA(Principal Component Analysis)为主成分分析，也称PCA降维，用于提取数据的主要特征分量，常用于高维数据的降维。

由一系列特征组成的多维向量，其中某些元素本身没有区分性，比如某个元素在所有的样本中都相等，或者彼此差距不大，那么这个元素本身就没有区分性，如果用它做特征来区分，贡献非常小，目的就是找到那些变化大的元素，即方差大的维，而去除掉那些变化不大的维。

PCA将主成分分析的问题转化为求解协方差矩阵的特征值和特征向量来计算。

以将数据的维数从N降到5为例，PCA算法的步骤：

（1）计算样本矩阵X协方差矩阵。

（2）计算协方差矩阵S的特征值i=1,2,.....N及其特征向量e1,e2,......,eN。

（3）把特征值按从大到小排序，取前5位特征值对应的特征向量组成投影矩阵W。

（4）投影数据到W组成的空间中。

使用mlpy库实现PCA算法：

代码：

#!/usr/bin/env python
import numpy as np
import matplotlib.pyplot as plt
import mlpy

np.random.seed(0)
mean, cov, n = [0, 0], [[1,1],[1,1.5]], 100
x = np.random.multivariate_normal(mean, cov, n)
pca = mlpy.PCA()
pca.learn(x)
coeff = pca.coeff()
fig = plt.figure(1) 
plot1 = plt.plot(x[:, 0], x[:, 1], 'o')
plot2 = plt.plot([0,coeff[0, 0]], [0, coeff[1, 0]], linewidth=4, color='r')
plot3 = plt.plot([0,coeff[0, 1]], [0, coeff[1, 1]], linewidth=4, color='g') 
xx = plt.xlim(-4, 4)
yy = plt.ylim(-4, 4)
z = pca.transform(x, k=1) 
xnew = pca.transform_inv(z) 
fig2 = plt.figure(2)
plot1 = plt.plot(xnew[:, 0], xnew[:, 1], 'o')
xx = plt.xlim(-4, 4)
yy = plt.ylim(-4, 4)
plt.show()

运行结果：