主成分分析（PCA）

主成分分析（PCA)是一种比较基础的数据降维方法，也是多元统计中的重要部分，在数据分析、机器学习等方面具有广泛应用。主成分分析目的是用较少的变量来代替原来较多的变量，并可以反映原来多个变量的大部分信息。

一、PCA原理

对于一个含有n个数据，变量的个数为p的一个样本，我们可以用p维空间的n个点来表示这些数据。例如含有2个变量，3个数据（1，2），（2，2），（3，3）的样本，即可以表示为：
如果含有3个变量，就是三维空间中的散点。
通常情况下，我们在实验初会提出很多变量，并且采集这些数据，这些数据中各个变量往往会存在一定的相关性。而这些相关性便意味着可以进行数据的降维，用更少的变量来替代这些变量。事实上，在很多情况下数据的降维是十分必要的，一方面有利于问题的简化，另一方面便于计算机的计算：数据降维后变量的减少，会使计算机处理的数据大大减少，从而缩短数据处理时间。

主成分分析的直观理解，可以认为是旋转坐标轴，使得在旋转坐标轴后这些点在新的坐标系下在各个坐标轴（变量）方向投影的方差变大。其中如果在某坐标上的方差最大，那么这个坐标轴对应的这些散点的坐标就是第一主成分，其次就是第二主成分，依此类推。

对于上图的8组数据，我们发现在x轴方向方差很大，在y轴方向方差为0，所以就可以用这些点的横坐标数据作为第一主成分，并且只选第一主成分便可以达到要求。

对于下图的情况，我们发现这些数据都几乎排列在一条直线上，并且在x轴方向和y轴方向的方差都比较大。但是如果把坐标轴旋转一定角度，使得这些数据在某个坐标轴的投影的方差比较大，便可以用新坐标系下方差较大的一个坐标轴坐标作为主成分。

对于左图，数据为（1，2）、（2，4）…旋转坐标轴后，坐标为（$\sqrt{5}$,0)、（$2\sqrt{5}$,0）…这样主成分就是新坐标系下变量x的数值：$\sqrt{5}$,$2\sqrt{5}$,$3\sqrt{5}$…。

对于大多数情况，数据各个变量基本服从正态分布，所以变量为2的数据散点分布大致为一个椭圆，变量为3的散点分布大致为一个椭球，p个变量的数据大致分布在一个超椭圆。而通过旋转坐标系，使得超椭圆的长轴落在一个坐标轴上，其次超椭圆另一个轴也尽量落在坐标轴上。这样各个新的坐标轴上的坐标值便是相应的主成分。

二、PCA步骤

对于含有p个变量、n个数据的样本$X_{n\times p}$，可以计算出其协差阵$\sum p\times p$。根据该协差阵可以求出p个特征值并从大到小排序得${\lambda }_1,{\lambda }_2{\lambda }_3...{\lambda }_p$与相应的p个特征向量$T_i,T_2...T_p$。则第i主成分为$Y_i$：

原样本中含有p个变量，通过主成分分析后变量个数会减少很多。选取主成分的个数需要依据主成分贡献率与累计贡献率。第k个主成分的贡献率为：

通常情况下，该主成分的贡献率越大，说明保存的原有数据的信息越多。样本前m个主成分的累计贡献率为：

通常情况下，如果累计贡献率达到80%以上，便可以认为选取前m个主成分能够很好地保留原来样本的信息。累计贡献率是判断选取主成分个数的标准，也反映了这些主成分对原有信息的保留情况。

事实上，由于各个变量单位的不同，利用样本协差阵进行主成分分析往往不够准确，所以可以用样本的相关阵$R_{p\times p}$来替代协差阵$\sum p\times p$，之后的计算过程同上。

在实际应用中，从p个变量中提取m个主成分，需要对这新的m个变量做合理的解释。而进行解释往往需要根据具体问题来判断，并结合该主成分中保存原各个变量的比重，即求解该主成分与原始各个变量的因子载荷量$\rho$。

其中表示第k主成分在原第i变量的因子载荷量（它表示变量Xi对主成分Yk的重要程度）。表示协差阵的第i行i列元素，表示第k个特征向量的第i行。如果是利用相关阵进行主成分分析，则因子载荷量为：

其中表示相关阵i行i列，即1。

例如，对于人的身材的数据，通常包含身高、坐高、胸围、手臂长、肋围、腰围六个变量（指标）。通过主成分分析判断前三个主成分的累计贡献率大小可以达到要求，便选取这三个主成分。为了解释这三个主成分的意义，可以求各个主成分在原始的6个变量上的因子载荷量。如果主成分Y1对所有的变量的载荷都大致相等，就可以总结该主成分为身材大小成分；若第二主成分在胸围、肋围、腰围变量有相对较大或中等的正载荷量，在身高、坐高、手臂长有相对较大或中等的负载荷，就可以总结为胖瘦成分。所以，对提取的主成分的解释，除了借助因子载荷，也要根据实际问题进行总结，如果出现解释不了主成分，或者能够解释，但是主成分中的某些数据不符合实际情况，那也就意味着主成分分析的失败，此时只能换其它的方法了。

三、PCA算法优缺点

• PCA算法的主要优点有：
  • 仅仅需要以方差衡量信息量，不受数据集以外的因素影响。
  • 各主成分之间正交，可消除原始数据成分间的相互影响的因素。
  • 计算方法简单，主要运算是特征值分解，易于实现。
• PCA算法的主要缺点有：
  • 主成分各个特征维度的含义具有一定的模糊性，不如原始样本特征的解释性强。
  • 方差小的非主成分也可能含有对样本差异的重要信息，因降维丢弃可能对后续数据处理有影响。