第十六章 主成分分析

引入

主成分分析是一种常用的无监督学习方法，这一方法利用正交变换把线性相关变量表示的观测数据转换为少数几个由线性无关变量表示的数据，线性无关的变量被称为主成分。

主成分的个数通常小于原始变量的个数，所以主成分分析属于降维方法。

总体主成分分析

基本想法

数据的变量之间可能存在相关性，以致增加了分析的难度。于是，考虑由少数不相关的变量来代替相关的变量，用于表示数据，并且要求能保留数据中的大部分信息。

步骤：

1. 对给定数据进行规范化；
2. 对数据进行正交变换；

新变量是可能的正交变换中变量的方差和（信息保存）最大的，方差表示在新变量上的信息大小。将新变量依次称为第一主成分、第二主成分等。

可以利用主成分近似地表示原始数据；也可以把数据由少数主成分表示，这相当于对数据的降维。

直观解释

样本由实数空间中的点表示，空间的一个坐标轴表示一个变量。

规范化处理之后得到的数据分布在原点附近。

对原坐标系中的数据进行主成分分析等价于进行坐标系旋转变换，将数据投影到新坐标系的坐标轴上（相当于是原样本点在新坐标系中的坐标）。

新坐标系的第一坐标轴、第二坐标轴分别表示第一主成分、第二主成分，数据在每一轴上的坐标值的平方表示相应变量的方差；并且这个坐标系是在所有可能的新的坐标系中，坐标轴上的方差最大的。

如果只取第一坐标轴，相当于将二维空间压缩到一维空间。

如何理解方差最大？

在数据总体上进行的主成分分析称为总体主成分分析，在有限样本上进行的称为样本主成分分析。

方差越大，表示我这个样本沿这个方向的越有区分度。这是因为比如说二维到一维少了一维，我这个差异化特征就少了一个，所以我要求这个方差大，来保障这个维度上的差异化。

定义和导出

协方差矩阵反应的是两两特征之间的协方差。$y_i$是$y$的第$i$个分量，其是对$x$的所有分量进行线性组合得到的。上述性质是针对每一维度的特征来说的。

定义16.1（总体主成分）给定一个如$y_i={\alpha }_i^T{x}_i$所示的线性变换，如果它们满足以下条件:

1. 系数向量${\alpha }_i^T$是单位向量，即${\alpha }_i^T{\alpha }_i=1$；
2. 变量$y_i$与$y_j$互不相关，即$cov(y_i,y_j)=0（i\ne j）$
3. 变量$y_1$是$x$的所有线性变换中方差最大的；$y_2$是与$y_1$不相关的$x$的所有线性变换中方差最大的…;这时分别称$y_1,y_2,...,y_m$是$x$的第一主成分、第二主成分、…、第$m$主成分。

上述是针对总体主成分的定义，总体主成分是一种特殊的线性变换，注意其满足的三个条件。

条件1中表明该线性变换是正交变换。条件2、3给出了求取主成分的方法：

1. 在$x$的所有线性变换：
   $${\alpha }_1^{T}x=\sum _{i=1}^m{\alpha }_{i1}{x}_i$$中，在${\alpha }_1^T{\alpha }_1=1$条件下，求方差最大的，得到$x$的第一主成分；
2. 在与${\alpha }_1^{T}x$不相关的$x$的所有线性变换$${\alpha }_2^{T}x=\sum _{i=1}^m{\alpha }_{i2}{x}_i$$中，在…条件下，求方差最大的，得到$x$的第二主成分；
3. 循环下去，直到求出第$m$主成分。

这里面一个是需要找到${\alpha }_i$，怎么找呢？

主要性质

定理部分

定理16.1 设$x$是$m$维随机变量，$\Sigma$是$x$的协方差矩阵，$\Sigma$的特征值分别是${\lambda }_1\ge {\lambda }_2\ge ...\ge {\lambda }_m\ge {\lambda }_0$，特征值对应的单位特征向量分别是${\alpha }_1,{\alpha }_2,...,{\alpha }_m$，则$x$的第$k$主成分是$$y_k={\alpha }_k^{T}x={\alpha }_{1k}{x}_1+{\alpha }_{2k}{x}_2+...+{\alpha }_{mk}{x}_m,k=1,2,...,m$$$x$的第$k$个主成分的方差是$$D(y_k)={\alpha }_k^T\Sigma {\alpha }_k={\lambda }_k$$即$\Sigma$的第$k$个特征值。

这一定理阐述了总体主成分与协方差的特征值和特征向量的关系，同时给出了一种求主成分的方法。

简述且记忆：线性变化向量为特征向量，此时的方差最大为特征值，序列关系按照方差从大到小排。

推论16.1 $m$维随机变量$y=(y_1,y_2,...,y_m{)}^T$的分量依次是$x$的第一主成分到第$m$主成分的充要条件是:

1. $y=A^{T}x$，$A$为正交矩阵；
2. $y$的协方差矩阵为对角矩阵$cov(y)=diag({\lambda }_1,{\lambda }_2,...,{\lambda }_m),{\lambda }_1\ge {\lambda }_2\ge ...\ge {\lambda }_m$。其中${\lambda }_k$是$\Sigma$的第$k$个特征值，${\alpha }_k$是对应的单位特征向量。

性质部分

1. 总体主成分$y$的协方差矩阵是对角矩阵；
2. 总体主成分$y$的方差之和等于随机变量$x$的方差之和；
3. 第$k$个主成分$y_k$与变量$x_i$的相关系数$\rho (y_k,x_i)$称为因子负荷量，它表示第$k$个主成分$y_k$与变量$x_i$的相关关系。计算公式是$$\rho (y_k,x_i)=\frac{\sqrt{{\lambda }_k}{\alpha }_{ik}}{\sqrt{{\sigma }_{ii}}}$$因为$$\rho (y_k,x_i)=\frac{cov(y_k,x_i)}{\sqrt{var(y_k)var(x_i)}}=\frac{cov({\alpha }_k^{T}x,e_i^{T}x)}{\sqrt{{\lambda }_k}\sqrt{{\sigma }_{ii}}}$$
   剩余两个关于因子负荷量的性质不再介绍。

主成分的个数

主成分分析的主要目的是降维，所以一般选择$k$个主成分，使问题得到简化，并能保留原来的大部分信息。

定理16.2 对任意正整数$q$，$1\le q\le m$，考虑正交线性变换$$y=B^{T}x$$其中$y$使$q$维向量，$B^T$使$q\times m$矩阵，令$y$的协方差矩阵（既是相似变换也是相和变换）为$${\Sigma }_y=B^T\Sigma B$$则${\Sigma }_y$的迹$tr({\Sigma }_y)$在$B=A_q$时取得最大值，其中$A_q$由正交矩阵$A$的前$q$列组成（A应该是特征向量，那这就有点相似对角化的味道了）。

这里说明的是，当取$A$的前$q$列时能够保证这个原有变量方差信息被最大限度保留，这等价于$tr({\Sigma }_y)$最大。

定理16.3考虑正交变换$$y=B^{T}x$$
这里$B^T$是$p\times m$矩阵，$A$和${\Sigma }_y$的定义与定理16.2相同，则$tr({\Sigma }_y)$在$B=A_p$时，取得最小值，$A_p$由$A$的后$p$列组成。

总之16.2和16.3说明了，要想降维的时候，我的信息得到最大限度的保留，就取从大到小排列的特征值对应的特征向量的前$k$个。反之亦然。这边应该是从矩阵层面上给出了规范化的定理。

$定义16.2$ 第$k$个主成分$y_k$的方差贡献率定义为$y_k$的方差与所有方差之和的比，记作${\eta }_k$$${\eta }_k=\frac{{\lambda }_k}{{\sum }_{i=1}^m{\lambda }_i}$$$k$个主成分$y_1,y_2,...,y_k$的累积方差贡献率定义为$k$个方差之和与所有方差之和的比$$\sum _{i=1}^k{\eta }_i=\frac{{\sum }_{i=1}^k{\lambda }_i}{{\sum }_{i=1}^m{\lambda }_i}$$

通常取$k$使得累积方差贡献率达到规定百分比以上，累积方差贡献率反映了主成分保留信息的比例，但不能反映对某个原有变量$x_i$保留信息的比例。

这时通常利用$k$个主成分对原有变量的贡献率：

定义16.3 $k$个主成分$y_1,y_2,...,y_k$对原有变量$x_i$的贡献率定义为$x_i$与$y_1,y_2,...,y_k$的相关系数的平方，记作$v_i$:$$v_i={\rho }^2(x_1,(y_1,y_2,...,y_k))$$计算公式如下：$$v_i=\sum _{j=1}^k{\rho }^2(x_i,y_j)$$

规范化变量的总体主成分

实际问题中，不同的变量可能有不同的量纲，为了消除这个影响，常常对各个随机变量实施规范化，使其均值为0，方差为1.

设$x=(x_1,x_2,...,x_m{)}^T$为$m$维随机变量，$x_i$为第$i$鸽随机变量，$i=1,2,...,m$，令$$x^{\ast }=\frac{x_i-E(x_i)}{\sqrt{var(x_i)}},i=1,2,...,m$$

规范化随机变量的协方差矩阵就是相关矩阵$R$。主成分分析通常在规范化随机变量的协方差矩阵即相关矩阵上进行。

规范化随机变量的总体主成分有以下性质：

1. 规范化变量主成分的协方差矩阵是$${\Lambda }^{\ast }=diag({\lambda }_1^{\ast },...,{\lambda }_m^{\ast })$$其中，这些值是相关矩阵的特征值。
2. 协方差矩阵的特征值之和为$m$；
3. …

样本主成分分析

总体主成分分析是定义在样本总体上的。在实际问题中需要在观测数据上进行主成分分析，这就是样本主成分分析。

样本主成分与总体主成分相同的性质。

样本主成分的定义和性质

假设对$m$维随机变量$x=(x_1,x_2,...,x_m{)}^T$进行$n$次独立观测，，$x_{1\to n}$表示观测样本。

定义16.4（样本主成分）给定样本矩阵$X$。样本第一主成分$y_1=a_1^{T}x$是在$a_1^T{a}_1=1$条件下，是在$a_1^T{x}_j$的样本方差$a_1^{T}S{a}_1$最大的$x$的线性变换；样本第二主成分$y_2=a_2^{T}x$是在$a_2^T{a}_2=1$条件下和$a_1^{T}S{a}_2=0$条件下，使得$a_2^T{x}_j$的样本方差最大的$x$的线性变换；以此类推。

样本主成分与总体主成分有相同的性质，所以说其余都一致。

规范化的样本矩阵的协方差矩阵就是相关矩阵。

在使用样本主成分时，一般假设样本数据是规范化的，即对样本矩阵做如下变换$$x_{ij}^{\ast }=\frac{x_{ij}-{\bar{x}}_i}{\sqrt{s_{ii}}}$$

相关矩阵的特征值分解算法

传统的主成分分析通过数据的协方差矩阵或相关矩阵的特征值分解进行，现在常用的方法是通过数据矩阵的奇异值分解进行。

给定样本矩阵$X$，利用数据的样本协方差矩阵或者样本相关矩阵的特征值分解进行主成分分析。具体步骤如下：

1. 对观测数据按照上述式子进行规范化处理，得到规范化矩阵，仍然以$X$表示；
2. 依据规范化数据矩阵计算样本相关矩阵$$R=\frac{1}{n-1}X{X}^T$$
3. 求样本相关矩阵$R$的$k$个特征值和对应的单位特征向量；
4. 求$k$个样本主成分，求累积方差贡献率达到预定值的主成分个数$k$；
5. 计算$k$个主成分$y_j$与原变量$x_i$的相关系数，以及$k$个主成分对原变量$x_i$的贡献率$v_i$;
6. 计算$n$个样本的$k$个主成分值。