16种常用的数据分析方法-主成分分析

​

 

主成分分析（英语：Principal components analysis，PCA）是一种分析、简化数据集的技术。

通过降维技术把多个变量化为少数几个主成分（综合变量）的统计分析方法。这些主成分能够反映原始变量的绝大部分信息，它们通常表示为原始变量的某种线性组合。 

主成分分析经常用于减少数据集的维数，同时保持数据集中的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。

主成分分析由卡尔•皮尔逊于1901年发明，用于分析数据及建立数理模型。其方法主要是通过对协方差矩阵进行特征分解，以得出数据的主成分（即特征向量）与它们的权值（即特征值）。

主成分的目的： 

（1）变量的降维 
（2）主成分的解释（在主成分有意义的情况下）

主成分分析法从冗余特征中提取主要成分，在不太损失模型质量的情况下，提升了模型训练速度。

如上图所示，我们将样本到红色向量的距离称作是投影误差（Projection Error）。以二维投影到一维为例，PCA 就是要找寻一条直线，使得各个特征的投影误差足够小，这样才能尽可能的保留原特征具有的信息。因为PCA仅保留了特征的主成分，所以PCA是一种有损的压缩方式.

PCA分析的一般步骤

1.根据研究问题选取初始分析变量

2.根据初始变量特性判断由协方差阵求主成分还是由相关矩阵求主成分；

3.求协方差阵或相关阵的特征值与相应标准特征向量；

4.判断是否存在明显的多重共线性，若存在，则回到第（1）步；

5.得到主成分的表达式并确定主成分个数，选取主成分；

6.结合主成分对研究问题进行分析并深入研究。

PCA的目标是用一组较少的不相关变量代替大量相关变量，同时尽可能保留初始变量的信息，这些推导所得的变量称为主成分，它们是观测变量的线性组合。

主成分分析法优缺点

优点

↘可消除评估指标之间的相关影响。因为主成分分析法在对原始数据指标变量进行变换后形成了彼此相互独立的主成分，而且实践证明指标间相关程度越高，主成分分析效果越好。

↘可减少指标选择的工作量，对于其他评估方法，由于难以消除评估指标间的相关影响，所以选择指标时要花费不少精力，而主成分分析法由于可以消除这种相关影响，所以在指标选择上相对容易些。