python实现PCA(主成分分析)降维

前言：现在网络上有很多文章，数据和代码都不全，胖哥对此重新梳理后，把用到的数据和代码全部奉上，如果想直接要数据和代码，请查看文章最后！！！

概述：

 本文主要介绍一种降维方法，PCA（Principal Component Analysis，主成分分析），是数据规约中属性规约的其中一种方法，也是最常用的方法。

数据规约:
在大数据集上进行复杂的数据分析和挖掘需要很长的时间 ，数据规约产生更小但保持原数据完整性的新数据集 。在规约后的数据集上进行分析和挖掘将更有效率。

数据规约的意义在于：
1)降低无效 、错误数据对建模的影响 ，提高建模的准确性 ； 
2)少量且具代表性的数据将大幅缩减数据挖掘所需的时间 ； 
3)降低储存数据的成本 。

属性规约:
属性规约通过属性合并来创建新属性维数 ，或者直接通过删除不相关的属性(维)来减少数据维数 ，从而提高数据挖掘的效率 、降低计算成本。属性规约的目标是寻找出最小的属性子集并确保新数据子集的概率分布尽可能地接近原来数据集的概率分布。

降维致力于解决三类问题：
1)降维可以缓解维度灾难问题；
2)降维可以在压缩数据的同时让信息损失最小化；
3)理解几百个维度的数据结构很困难，两三个维度的数据通过可视化更容易理解。

 PCA介绍：

在理解特征提取与处理时，涉及高维特征向量的问题往往容易陷入维度灾难。随着数据集维度的增加，算法学习需要的样本数量呈指数级增加。有些应用中，遇到这样的大数据是非常不利的，而且从大数据集中学习需要更多的内存和处理能力。另外，随着维度的增加，数据的稀疏性会越来越高。在高维向量空间中探索同样的数据集比在同样稀疏的数据集中探索更加困难。
主成分分析也称为卡尔胡宁-勒夫变换（Karhunen-Loeve Transform），是一种用于探索高维数据结构的技术。PCA通常用于高维数据集的探索与可视化。还可以用于数据压缩，数据预处理等。PCA可以把可能具有相关性的高维变量合成线性无关的低维变量，称为主成分（ principal components）。新的低维数据集会尽可能的保留原始数据的变量。
PCA将数据投射到一个低维子空间实现降维。例如，二维数据集降维就是把点投射成一条线，数据集的每个样本都可以用一个值表示，不需要两个值。三维数据集可以降成二维，就是把变量映射成一个平面。一般情况下，nn维数据集可以通过映射降成kk维子空间，其中k≤nk≤n。
假如你是一本养花工具宣传册的摄影师，你正在拍摄一个水壶。水壶是三维的，但是照片是二维的，为了更全面的把水壶展示给客户，你需要从不同角度拍几张图片。下图是你从四个方向拍的照片：

第一张图里水壶的背面可以看到，但是看不到前面。第二张图是拍前面，可以看到壶嘴，这张图可以提供了第一张图缺失的信息，但是壶把看不到了。从第三张俯视图里无法看出壶的高度。第四张图是你真正想要的，水壶的高度，顶部，壶嘴和壶把都清晰可见。
PCA的设计理念与此类似，它可以将高维数据集映射到低维空间的同时，尽可能的保留更多变量。PCA旋转数据集与其主成分对齐，将最多的变量保留到第一主成分中。假设我们有下图所示的数据集：

数据集看起来像一个从原点到右上角延伸的细长扁平的椭圆。要降低整个数据集的维度，我们必须把点映射成一条线。下图中的两条线都是数据集可以映射的，映射到哪条线样本变化最大？

显然，样本映射到黑色虚线的变化比映射到红色点线的变化要大的多。实际上，这条黑色虚线就是第一主成分。第二主成分必须与第一主成分正交，也就是说第二主成分必须是在统计学上独立的，会出现在与第一主成分垂直的方向，如下图所示：

后面的每个主成分也会尽量多的保留剩下的变量，唯一的要求就是每一个主成分需要和前面的主成分正交。
现在假设数据集是三维的，散点图看起来像是沿着一个轴旋转的圆盘。

python实现PCA降维代码：

# 参数初始化
inputfile = 'input.xls'
data = pd.read_excel(inputfile, header=None)  # 读入数据

# 此为注释部分，按需打开即可
'''
pca = PCA()
pca.fit(data)
print(pca.components_) #返回模型的各个特征向量
print(pca.explained_variance_ratio_) #返回各个成分各自的方差百分比
'''

pca = PCA(3)
pca.fit(data)
low_d = pca.transform(data)  # 用它来降低维度
pd.DataFrame(low_d).to_excel('output.xls')  # 保存结果
# pca.inverse_transform(low_d)     #必要时可以用inverse_transform()函数来复原数据，按需应用

需要数据集和完整Python代码的朋友们，请关注如下微信公众号或者添加胖哥微信：zy10178083，回复"PCA降维"，即可获取完整内容：

微信公众号：胖哥真不错。