PCA基本思想及其应用案例：企业综合实力排序

主成分分析（PCA）基本原理

在数据建模中，我们会经常遇到多个变量的问题，而且在多数情况下，多个变量之间常常存在一定的相关性。当变量个数较多且变量之间存在复杂关系，会显著增加分析问题的复杂性。如果有一种方法可以将多个变量综合为少数几个代表性变量，使这些变量既能够代表原始变量的绝大数信息并且互不相干，那么无疑有助于对问题的分析和建模。这时，就可以考虑用主成分分析法。

PCA基本思想

PCA的本质其实就是对角化协方差矩阵。
PCA就是将高维的数据通过线性变换投影到低维空间上去，但这个投影可不是随便投投，要遵循一个指导思想，那就是：找出最能够代表原始数据的投影方法。

“最能代表原始数据”希望降维后的数据不能失真，也就是说，被PCA降掉的那些维度只能是那些噪声或是冗余的数据。

1：冗余，就是去除线性相关的向量（纬度），因为可以被其他向量代表，这部分信息量是多余的。

2:噪声，就是去除较小特征值对应的特征向量,

因为特征值的大小就反映了变换后在特征向量方向上变换的幅度，幅度越大，说明这个方向上的元素差异也越大，换句话说这个方向上的元素更分散。

3:实际上又回到了对角化，寻找极大线性无关组，然后保留较大的特征值，去除较小特征值，组成一个投影矩阵，

对原始样本矩阵进行投影，得到降维后的新样本矩阵。

协方差矩阵，能同时表现不同维度间的相关性以及各个维度上的方差。

协方差矩阵度量的是维度与维度之间的关系，而非样本与样本之间。

4:协方差矩阵的主对角线上的元素是各个维度上的方差(即能量)，其他元素是两两维度间的协方差(即相关性)。我们要的东西协方差矩阵都有了，先来看“降噪”，让保留下的不同维度间的相关性尽可能小，也就是说让协方差矩阵中非对角线元素都基本为零。达到这个目的的方式自然不用说，线代中讲的很明确——矩阵对角化。而对角化后得到的矩阵，其对角线上是协方差矩阵的特征值，它还有两个身份：首先，