2020-10-16

主成分分析法(PCA)

1. 算法介绍

主成分分析法是一种广泛的数据降维算法(非监督的机器学习方法)，主要用途是“降维”，通过析取主成分显示出的最大的个别差异，发现便于人类理解的特征，也可以用来削减回归分析和聚类分析中变量的数目。

2. 算法应用场景

当需要对多变量数据进行观测，多变量之间可能存在相关性。
如果对每个指标进行单独分析，其分析结果往往是独立的，并且不能完全利用数据中的信息，因此盲目减少指标会损失很多有用的指标，从而产生错误的结论。
这时，就需要在减少分析指标的同时，尽量减少原指标包含信息的损失。
由于个变量之间存在一定的相关性，因此可以考虑将关系紧密的变量变成尽可能少的新变量，使这些新变量两两不相关的，那么就可以用较少的综合指标分别代表存在于各个变量中的各类信息。

2. 算法思想

PCA的主要思想是将n维特征映射到k维上。这k维是全新的正交特征，也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。
eg:
先假设用数据的两个特征画出散点图：

如果只保留特征1或者只保留特征2.那么就会出现以下情况，不知保留哪一个。

通过上面对两个特征的映射结果可以发现保留特征1（右面）比较好，因为保留特征1，当把所有的点映射到x轴上以后，点和点之间的距离相对较大，也就是说，拥有更高的可区分度，同时还保留着部分映射之前的空间信息。

显然，这不是最好的，这是就诞生了主成分分析法：

将所有的点都映射到一根拟合的斜线上，从二维降到一维，整体和原样本的分布并没有多大的差距，点和点之间的距离更大了，区分度也更加明显

也就是说，在轴上样本间距越大，特征越容易区分，所以，我们的目的就转变为了：如何找到让样本间距最大的轴。（一般使用方差来定义样本之间的间距）

3. 算法步骤

1）对原始数据进行标准化（统一量纲）

2）计算相关系数矩阵

3）计算特征值与特征向量

3）计算主成分贡献率及累计贡献率

4）计算主成分载荷

5）各主成分得分

4. 算法python实现

from numpy import *

def loadDataSet(fileName,delim='\t'):
    fr=open(fileName)
    stringArr=[line.strip().split(delim) for line in fr.readlines()]
    datArr=[map(float,line) for line in stringArr]
    return mat(datArr)

def pca(dataMat,topNfeat=9999999):
    meanVals=mean(dataMat,axis=0)
    meanRemoved=dataMat-meanVals
    covMat=cov(meanRemoved,rowvar=0)
    eigVals,eigVets=linalg.eig(mat(covMat))
    eigValInd=argsort(eigVals)
    eigValInd=eigValInd[:-(topNfeat+1):-1]
    redEigVects=eigVets[:,eigValInd]
    print meanRemoved
    print redEigVects
    lowDDatMat=meanRemoved*redEigVects
    reconMat=(lowDDatMat*redEigVects.T)+meanVals
    return lowDDatMat,reconMat
dataMat=loadDataSet('testSet.txt')
lowDMat,reconMat=pca(dataMat,1)

def plotPCA(dataMat,reconMat):
    import matplotlib
    import matplotlib.pyplot as plt
    datArr=array(dataMat)
    reconArr=array(reconMat)
    n1=shape(datArr)[0]
    n2=shape(reconArr)[0]
    xcord1=[];ycord1=[]
    xcord2=[];ycord2=[]
    for i in range(n1):
        xcord1.append(datArr[i,0]);ycord1.append(datArr[i,1])
    for i in range(n2):
        xcord2.append(reconArr[i,0]);ycord2.append(reconArr[i,1])
    fig=plt.figure()
    ax=fig.add_subplot(111)
    ax.scatter(xcord1,ycord1,s=90,c='red',marker='^')
    ax.scatter(xcord2,ycord2,s=50,c='yellow',marker='o')
    plt.title('PCA')
    plt.show()
plotPCA(dataMat,reconMat)