数据降维 | 主成分分析(PCA)

01 数据降维

数据分析中，我们常常面对较大的数据集，这里的“大”，一是指样本量大（如千万量级），二是指高维度（如几百个维度）。因此在正式分析这些大数据前，我们需要对它们做预处理，从而缩减数据维度，提升处理效率和训练效果。

数据降维就是一种数据预处理技术，常用的降维技术如下：

1. 主成分分析 PCA
2. 因子分析 Factor Analysis
3. 独立成分分析 ICA

本文介绍并实践了一种常用的数据降维方法——主成分分析(PCA)

让我们一起来看看吧~

---

02 PCA原理

主成分分析的原理非常简单，概括来说就是选择包含信息量大的维度，去除信息量少的“干扰”维度，具体如下：

• 数据从原来的坐标系转换到新的坐标系，新坐标系的选择是由数据本身决定的。第一个新坐标轴选择的是原始数据中方差最大的方向(即数据差异性最大的方向)，第二个新坐标轴选择与第一个新坐标轴正交且具有最大方差的方向，以此类推，共建立与原始数据特征数目相等的新坐标轴。

• 我们会发现，大部分方差都包含在最前面的几个新坐标轴中，因此我们可以忽略余下的坐标轴，从而实现降维。（方差大代表不同数据之间的差异大，即，包含的可区分信息量大）

注意，PCA降维后，原始数据被映射到了新坐标系，不是原始值了。

---

03 python实现

根据PCA原理，我们写出如下PCA的过程，然后用python实现。

过程：

1. 去除平均值(防止协方差计算中出现乘以0的情况)
2. 计算协方差矩阵np.cov()，并计算该矩阵的特征值和特征向量nplinalg.eig()
3. 将特征值降序排序，保留前N个特征值对应的特征向量(N为PCA保留的特征数，人为设定)
4. 将原始数据转换到这N个特征向量构建的新空间中(矩阵乘法：原始数据*特征向量)
5. 将转换到新空间的原始数据，映射到新坐标系中，得到降维之后的数据集

python实现如下

def pca(dataMat,topNfeat=999999):
    meanVals=np.mean(dataMat,axis=0) #求dataMat各列均值
    meanRemoved=dataMat-meanVals #减去原始数据中的均值，避免协方差计算中出现乘以0的情况
    covMat=np.cov(meanRemoved,rowvar=0) #rowvar=0-->以列代表一个变量，计算各列之间的协方差
    eigVals,eigVects=np.linalg.eig(np.mat(covMat)) #协方差矩阵的特征值和特征向量
    eigValInd=np.argsort(eigVals) 
    eigValInd=eigValInd[:-(topNfeat+1):-1] #对升序排序结果从后往前取topNfeat个值
    redEigVects=eigVects[:,eigValInd] #取选定特征值对应的特征向量，从而转换原始数据
    lowDemData=meanRemoved*redEigVects #将原始数据转换到新空间
    reconMat=(lowDemData*redEigVects.T)+meanVals #降维后的数据集
    return lowDemData,reconMat

用一组简单的二维数据来测试一下

再进一步

刚才的PCA实现中，我们认为设定保留的维度数，所以这里会有个问题——如何知道保留几个维度是最佳的呢？

我们希望通过保留尽可能少的维度来留存尽可能多的信息。

所以我们用另一组多维度数据集来看看保留不同维度数时，所保留的信息量占比情况。

• 可以看到，维度降到3维时，已经包含90%以上的信息了，实际使用中选择降到多少维根据具体需求而定

---

04 总结

本文介绍并用python实现了一种常用的降维算法——PCA。

PCA优缺点

• 优点：降低数据复杂性，识别最重要的多个特征
• 缺点：PCA需要将所有数据集放入内存，若数据集较大，内存处理效率低，此时需要使用其他方法来寻找特征值–>SVD+PCA

基于PCA占用内存的缺点，下一期我们将学习另一种降维算法——奇异值分解(SVD)，此算法也是搜索引擎的基础算法之一，敬请期待~

---

05 参考

《机器学习实战》 Peter Harrington Chapter13