PCA简化数据

最新推荐文章于 2022-10-05 15:01:18 发布

若若弱弱弱

最新推荐文章于 2022-10-05 15:01:18 发布

阅读量649

点赞数

本文链接：https://blog.csdn.net/Annranshina/article/details/80727298

版权

【概念】

PCA（principal componentsanalysis）即主成分分析技术，又称主成分分析。主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。

在统计学中，主成分分析PCA是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征.这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面.但是，这也不是一定的，要视具体应用而定.

【方法】

(1) 第一步计算矩阵 X 的样本的协方差矩阵 S（此为不标准PCA，标准PCA计算相关系数矩阵C） :

(2) 第二步计算协方差矩阵S（或C）的特征向量 e1,e2,…,eN和特征值 , t =1,2,…,N ；

(3)第三步投影数据到特征向量张成的空间之中。利用公式，其中BV值是原样本中对应维度的值。

PCA 的目标是寻找 r （ r<n ）个新变量，使它们反映事物的主要特征，压缩原有数据矩阵的规模，将特征向量的维数降低，挑选出最少的维数来概括最重要特征。每个新变量是原有变量的线性组合，体现原有变量的综合效果，具有一定的实际含义。这 r 个新变量称为“主成分”，它们可以在很大程度上反映原来 n 个变量的影响，并且这些新变量是互不相关的，也是正交的。通过主成分分析，压缩数据空间，将多元数据的特征在低维空间里直观地表示出来。

【示例】：PCA对半导体数据进行降维

　　我们知道，像集成电路这样的半导体，成本非常昂贵。如果能在制造过程中尽早和尽快地检测出是否出现瑕疵，将可能为企业节省大量的成本和时间。那么，我们在面对大规模和高维度数据集时，显然计算损耗会很大，无疑会非常耗时。所以，如果利用PCA等降维技术将高维的数据特征进行降维处理，保留那些最重要的数据特征，舍弃那些可以忽略的特征，将大大加快我们的数据处理速度和计算损耗，为企业节省不小的时间和成本。

1 数据缺失值的问题

显然，数据集中可能会包含很多缺失值，这些缺失值是以NaN进行标识的。那么如何对待这些缺失值呢？如果存在大量的样本存在缺失值，显然选择将这些有缺失值得样本丢弃不可取；此外，由于并不知道这些值的意义，选择将缺失值替换为0也不是一个很好的决定。所以，这里我们选择将数据集中的特征缺失值，用数据集中该维度所有非NaN特征的均值进行替换。相比之下，采用均值替换的方法在这里是一个相对较好的选择。

#缺失值处理函数
def replaceNaNWithMean():
    #解析数据
    datMat=loadDataSet('secom.data',' ')
   #获取特征维度     
    numFeat=shape(datMat)[1]
    #遍历数据集每一个维度
    for i in range(numFeat):
        #利用该维度所有非NaN特征求取均值
        meanVal=mean(datMat[nonzero(~isnan(datMat[:,i].A))[0],i])
        #将该维度中所有NaN特征全部用均值替换
        datMat[nonzero(isnan(datMat[:,i].A))[0],i]=meanVal
return datMat

　这样，我们就去除了所有NaN特征，接下来就可以对数据集利用PCA算法进行降维处理了。

2 PCA降维

那么我们如果确定需要保留哪些重要特征呢？PCA函数可以给出数据所包含的信息量，然后通过定量的计算数据中所包含的信息决定出保留特征的比例。下面是具体代码：

dataMat=pca.replaceNanWithMean()
meanVals=mean(dataMat,axis=0)
meanRemoved=dataMat-meanVals
conMat=cov(meanRemoved,rowvar=0)
eigVals,eigVects=linalg.eig(mat(covMat))