输入:原矩阵m*n 压缩后的维度p
- 其中m为记录数量,n是原数据的维度,所谓压缩,并不会改变数据量(即记录的数量),而是压缩表示数据的维度,如从原来的3维空间压缩到2维空间,原来是1000个点,压缩后仍是1000个点,只是原来需要三个坐标表示一个点,而压缩后只需要2个坐标就可以表示一个点
- 目的是压缩,显然p应该是一个小于n的数
计算过程
- 去平均值menaRemoved=原矩阵-平均值(按列)
- 协方差矩阵:计算menaRemoved的协方差矩阵
- 特征值、特征向量:计算协方差矩阵的特征值、特征向量
- 降维矩阵:取p个最大的特征值对应的特征向量组成降维矩阵
- 压缩矩阵=menaRemoved*降维矩阵 (这里压缩矩阵就是指原矩阵在低维空间的表示)
- 重构原矩阵=压缩矩阵*降维矩阵的转置+平均值
代码说明
from numpy import *
#从一个文本文件中读入一个数据集,数据集示例如下:
'''
8.805945 10.575145
9.584316 9.614076
11.269714 11.717254
9.120444 9.019774
7.977520 8.313923
'''
def loadDataSet(fileName, delim='\t'):
fr = open(fileName)
stringArr = [line.strip().split(delim) for line in fr.readlines()]
datArr = [map(float,line) for line in stringArr]
return mat(datArr)
#基于numpy实现pca算法
def pca(dataMat, topNfeat=9999999): #原数据 m*n
meanVals = mean(dataMat, axis=0) #均值:1*n
meanRemoved = dataMat - meanVals #去除均值 m*n
covMat = cov(meanRemoved, rowvar=0) #协方差矩阵 n*n
eigVals,eigVects = linalg.eig(mat(covMat)) #特征矩阵 n*n
eigValInd = argsort(eigVals) #将特征值排序
eigValInd = eigValInd[:-(topNfeat+1):-1] #仅保留p个列(将topNfeat理解为p即可)
redEigVects = eigVects[:,eigValInd] # 仅保留p个最大特征值对应的特征向量,按从大到小的顺序重组特征矩阵n*p
lowDDataMat = meanRemoved * redEigVects #将数据转换到低维空间lowDDataMat: m*p
reconMat = (lowDDataMat * redEigVects.T) + meanVals #从压缩空间重构原数据reconMat: m*n
return lowDDataMat, reconMat