主成分分析(PCA)简介
PCA(principal components analysis)即主成分分析技术,又称主分量分析,旨在利用降维的思想,把多指标转化为少数几个综合指标。具体如下图将2D压缩为1D:
如下图将3D压缩为2D:
降维分析
降维就是找到数据中最重要的方向,即方差最大的方向。
对于高维数据需要先找到第一个主成分方差最大的方向提取出来,第二个主成分来自于方差次大的那个数据,并且与第一个主成分正交,具体如下图所示:
PCA算法流程如下图所示:
PCA实例
导包:
import numpy as np
import matplotlib.pyplot as plt
plt.style.use('ggplot')
载入数据并可视化
#载入数据
data=np.genfromtxt("data.csv",delimiter=",")
x_data=data[:,0]
y_data=data[:,1]
plt.scatter(x_data,y_data)
plt.show()
print(x_data.shape)
数据可视化结果如下图所示:
数据中心化及求解协方差矩阵,求解特征值和特征向量
#数据中心化
def zeroMean(dataMat):
#按列求平均,即各个特征的平均
meanVal=np.mean(dataMat,axis=0)
newData=dataMat-meanVal
return newData,meanVal
newData,meanVal=zeroMean(data)
#np.cov用于求协方差矩阵,参数rowvar=0说明数据第一行代表一个样本
covMat=np.cov(newData,rowvar=0)
#np.linalg.eig求矩阵的特征值和特征向量
eigVals,eigVects=np.linalg.eig(np.mat(covMat))
#对特征值从小到大排序
eigValIndice=np.argsort(eigVals)
top=1
#最大的n个特征值的下标
n_eigValIndice=eigValIndice[-1:-(top+1):-1]#从-1,-2从右往左一个一个-
#最大的top个特征值对应的特征向量
n_eigVect=eigVects[:,n_eigValIndice]
#低维特征空间的数据
lowDataMat=newData*n_eigVect
reconMat=lowDataMat*n_eigVect.T+meanVal
#载入数据
data=np.genfromtxt("data.csv",delimiter=",")
x_data=data[:,0]
y_data=data[:,1]
plt.scatter(x_data,y_data)
#重构的数据
x_data=np.array(reconMat)[:,0]
y_data=np.array(reconMat)[:,1]
plt.scatter(x_data,y_data,c='r')
plt.show()
PCA降维结果
参考视频:B站机器学习算法基础-覃秉丰