机器学习入门之PCA降维

概念

数据降维，通俗的来说，就是把多维的数据降维成低维的数据，比如说，通过某种函数，将二位空间内的点映射到一根直线上，实现二维降到一维。

PCA的算法流程

①数据预处理，对数据进行中心化：
②求样本的协方差矩阵
③对协方差矩阵做特征值分解
④选出最大的k个特征值对应的k个特征向量
⑤将原始数据投影到选取的特征向量上
⑥输出投影后的数据集

栗子

上图中，一个国家有多个维度的数据，我们希望通过降维，使数据的可视化更加简单，下面是降维后的结果

注意，图中的两列并不是抽取了原图中某两列，而是我们根据降维算法后得出的某种特殊值。

降维分析

找到数据最重要的方向（方差最大的方向）

如图所示，黑色的叉是数据点，我们将数据点依次投影到红线和紫线上，可以直观的看出红线的方差要比紫线大。

python实现

import numpy as np
import matplotlib.pyplot as plt
#载入数据
data=np.genfromtxt("E:\Temp\wine.csv",delimiter=",")
print(data)
x_data=data[:,0]
y_data=data[:,1]
plt.scatter(x_data,y_data)
print(y_data.shape)


#数据中心化
def zeroMean(dataMat):
    #按照列求平均，即各个特征的平均
    meanVal=np.mean(dataMat,axis=0)
    newData=dataMat-meanVal
    return newData,meanVal

newData,meanVal=zeroMean(data)
#求协方差矩阵，参数rowvar=0说明数据一行代表一个样本
covMat=np.cov(newData,rowvar=0)



#求矩阵的特征值和特征向量
eigVals,eigVects=np.linalg.eig(np.mat(covMat))

#对特征值从小到大排序
eigValIndice=np.argsort(eigVals)

top=2
#最大的top个特征值的下标
n_eigValIndice=eigValIndice[-1:-(top+1):-1]

#最大的top个特征值对应的特征向量
n_eigVect=eigVects[:,n_eigValIndice]

#低维特征空间的数据
lowDDataMat=newData*n_eigVect

#利用低维数据来重构数据
reconMat=(lowDDataMat*n_eigVect.T)+meanVal

x_data=np.array(reconMat)[:,0]
y_data=np.array(reconMat)[:,1]
plt.scatter(x_data,y_data,c="r")
plt.show()