《机器学习实战》学习总结（六）PCA算法原理

输入：原矩阵m*n   压缩后的维度p 

• 其中m为记录数量，n是原数据的维度，所谓压缩，并不会改变数据量（即记录的数量），而是压缩表示数据的维度，如从原来的3维空间压缩到2维空间，原来是1000个点，压缩后仍是1000个点，只是原来需要三个坐标表示一个点，而压缩后只需要2个坐标就可以表示一个点
• 目的是压缩，显然p应该是一个小于n的数

  计算过程     

 

1. 去平均值menaRemoved=原矩阵-平均值（按列）
2. 协方差矩阵：计算menaRemoved的协方差矩阵
3. 特征值、特征向量：计算协方差矩阵的特征值、特征向量
4. 降维矩阵：取p个最大的特征值对应的特征向量组成降维矩阵
5. 压缩矩阵=menaRemoved*降维矩阵  （这里压缩矩阵就是指原矩阵在低维空间的表示）
6. 重构原矩阵=压缩矩阵*降维矩阵的转置+平均值

代码说明

from numpy import *


#从一个文本文件中读入一个数据集,数据集示例如下：
'''
8.805945	10.575145
9.584316	9.614076
11.269714	11.717254
9.120444	9.019774
7.977520	8.313923
'''

def loadDataSet(fileName, delim='\t'):
    fr = open(fileName)
    stringArr = [line.strip().split(delim) for line in fr.readlines()]
    datArr = [map(float,line) for line in stringArr]
    return mat(datArr)

	
#基于numpy实现pca算法	
def pca(dataMat, topNfeat=9999999):                           #原数据  m*n
    meanVals = mean(dataMat, axis=0)                          #均值：1*n
    meanRemoved = dataMat - meanVals 			              #去除均值  m*n
    covMat = cov(meanRemoved, rowvar=0)                       #协方差矩阵 n*n
    eigVals,eigVects = linalg.eig(mat(covMat))				  #特征矩阵  n*n
    eigValInd = argsort(eigVals)            #将特征值排序
    eigValInd = eigValInd[:-(topNfeat+1):-1]  #仅保留p个列（将topNfeat理解为p即可）   
    redEigVects = eigVects[:,eigValInd]       # 仅保留p个最大特征值对应的特征向量，按从大到小的顺序重组特征矩阵n*p
    lowDDataMat = meanRemoved * redEigVects		#将数据转换到低维空间lowDDataMat： m*p
    reconMat = (lowDDataMat * redEigVects.T) + meanVals    #从压缩空间重构原数据reconMat：  m*n
    return lowDDataMat, reconMat