py2.7《机器学习实战》利用PCA来简化数据

最近看了PCA降维，很多地方还是不理解，还是线代学的太差了，但是书上总结的还是挺精简的

一、在Numpy中实现PCA

1、伪代码：

（1）去除平均值（均值归0方便计算方差）

（2）计算协方差矩阵

（3）计算协方差矩阵的特征值和特征向量（利用Numpy中的linalg方法）

（4）将特征值从大到小排序

（5）保留最上面的N个特征向量

（6）将数据转换到上述N个特征构建的新空间中

2.PCA算法

源代码：

#-*- coding:utf-8 -*-
from numpy import *

def loadDataSet(fileName , delim = '\t'):
    fr = open(fileName)
    stringArr = [line.strip().split(delim) for line in fr.readlines()] #这姿势真是太高大上了
    datArr = [map(float,line) for line in stringArr] #类型转换
    return mat(datArr)

def pca(dataMat , topNfeat = 9999999):
    meanVals = mean(dataMat,axis=0) #求矩阵的平均值
    meanRemoved = dataMat - meanVals
    covMat = cov(meanRemoved,rowvar=0) #求协方差矩阵
    eigVals , eigVects  = linalg.eig(mat(covMat)) #计算特征值和特征向量
    eigValInd = argsort(eigVals) #从小到大排序
    eigValInd = eigValInd[:-(topNfeat+1):-1] #选取最大的前topNfeat个，默认9999999,这里是反向选取
    redEigVect = eigVects[:,eigValInd]
    lowDDataMat = meanRemoved*redEigVect #转换空间
    reconMat = (lowDDataMat *redEigVect.T ) + meanVals 
    return lowDDataMat , reconMat  #返回重构后的原始数据和降维后的数据

执行代码：

#-*- coding:utf-8 -*-
import pca
import matplotlib.pyplot as plt
dataMat = pca.loadDataSet('testSet.txt')
lowDMat , reconMat = pca.pca(dataMat,1)
fig = plt.figure()
ax = fig.add_subplot(111) #构造图形
ax.scatter(dataMat[:,0].flatten().A[0] , dataMat[:,1].flatten().A[0],marker='^',s=90,c='red')
ax.scatter(reconMat[:,0].flatten().A[0] , reconMat[:,1].flatten().A[0],marker='o',s=50,c='red')
plt.show()

效果：

二、利用PCA对半导体制造数据降维

源代码：

def replaceNanWithMean(): #处理NaN值，这里采取平均值法
    dataMat = loadDataSet('secom.data' , ' ')
    numFeat = shape(dataMat)[1] #计算出特征数目
    for i in range(numFeat): #对每个特征计算非NaN的均值
        meanVal = mean(dataMat[nonzero(~isnan(dataMat[:,i].A))[0],i]) #不是NAN的所有值的平均值
        dataMat[nonzero(isnan(dataMat[:,i].A))[0],i] = meanVal
    return dataMat

执行代码

#-*- coding:utf-8 -*-
from numpy import *
import pca
import matplotlib.pyplot as plt
dataMat = pca.replaceNanWithMean()
meanVal = mean(dataMat,axis=0) #均值
meanRemoved = dataMat  - meanVal #尽力归零化
covMat = cov(meanRemoved,rowvar=0) #协方差矩阵
eigVals , eigVects = linalg.eig(mat(covMat)) #特征值分析
print eigVals #检查特征值：发现大部分都是0，还有四舍五入造成的负数，只有前15个是大于10^5信息量很大