《机器学习实战》 第十三章【利用PCA来简化数据】

PCA（principal components analysis）即主成分分析技术，又称主分量分析。主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
在统计学中，主成分分析PCA是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用于减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。
——百度百科

算法描述

优缺点

• 优点：降低数据的复杂性，识别最重要的多个特征
• 缺点：不一定需要，且可能损失有用信息
• 适用数据类型：数值型数据

算法思路

PCA是一种线性变换，将数据变化到新的坐标系统中，得到的数据投影的第一大方差在第一个坐标上，第二大方差在第二个坐标上，依此类推。我们可以通过数据集的协方差得到这些值。
伪代码如下：

1.去除平均值
2.计算协方差矩阵
3.计算协方差矩阵的特征值和特征向量（调用linalg.eig()）
4.特征值从大到小排序
5.保留最上面的N个特征向量
6.将数据转换到上述N个特征向量构建的新空间中

一个栗子

#coding:utf-8
from numpy import *

def loadDataSet(fileName, delim='\t'):
    fr = open(fileName)
    stringArr = [line.strip().split(delim) for line in fr.readlines()]
    datArr = [map(float,line) for line in stringArr]
    return mat(datArr)

def pca(dataMat, topNfeat=9999999):
    meanVals = mean(dataMat, axis=0)
    meanRemoved = dataMat - meanVals #remove mean
    covMat = cov(meanRemoved, rowvar=0)
    eigVals,eigVects = linalg.eig(mat(covMat))
    eigValInd = argsort(eigVals)            #sort, sort goes smallest to largest
    eigValInd = eigValInd[:-(topNfeat+1):-1]  #cut off unwanted dimensions
    redEigVects = eigVects[:,eigValInd]       #reorganize eig vects largest to smallest
    lowDDataMat = meanRemoved * redEigVects#transform data into new dimensions
    reconMat = (lowDDataMat * redEigVects.T) + meanVals
    return lowDDataMat, reconMat

def replaceNanWithMean(): 
    datMat = loadDataSet('secom.data', ' ')
    numFeat = shape(datMat)[1]
    for i in range(numFeat):
        meanVal = mean(datMat[nonzero(~isnan(datMat[:,i].A))[0],i]) #values that are not NaN (a number)
        datMat[nonzero(isnan(datMat[:,i].A))[0],i] = meanVal  #set NaN values to mean
    return datMat
dataMat=replaceNanWithMean()    #替换为平均值
meanVals=mean(dataMat,axis=0)   #计算平均值
meanRemoved=dataMat-meanVals
covMat=cov(meanRemoved,rowvar=0)#计算协方差

eigVals,eigVects=linalg.eig(mat(covMat))    #特征值，特征向量
print(eigVals)

结果：