连续变量降维-主成分分析

一、主成分分析基本思想

主成分分析的基本思想是：在尽可能多地保留原始变量信息的前提下达到降维目的，从而抓住主要矛盾，以简化问题的复杂性。
为了合并原始信息，主成分分析将多个原始变量进行线性变换，形成少数几个新的综合变量。设对某一事物的研究涉及$p$个指标，每个指标用列向量表达为$X_1,X_2,...,X_p$，将指标合并后构成$p$维随机变量$X=(X_1,X_2,...,X_p{)}^T$，变换系数矩阵$U=(U_1,U_2,...,U_p{)}^T$，其中第$i$次变换系数$U_i=(u_{i1},u_{i2},...,u_{ip}{)}^T$，变换后$Y=UX$，即
$$\{\begin{array}{l}{Y}_1=U_1^{T}X=u_{11}{X}_1+u_{12}{X}_2+...+u_{1p}{X}_p\\ Y_2=U_2^{T}X=u_{21}{X}_1+u_{22}{X}_2+...+u_{2p}{X}_p\\ ......\\ Y_p=U_p^{T}X=u_{p1}{X}_1+u_{p2}{X}_2+...+u_{pp}{X}_p\end{array}$$
主成分分析要求线性变换后，$p$个主成分$Y_1,Y_2,...,Y_p$的总方差与原始变量$X_1,X_2,...,X_p$的总方差相等。
由于不同的线性变换得到的综合变量$Y$不尽相同，为了获得较好的效果，我们希望从线性变换后的综合变量中挑选的主成分能够尽可能多的包含原始信息，也就是按照原始信息离散性最大的方向投影。如图1所示，二维空间中变量$X_1$和$X_2$表现在坐标系上，信息在$Y_1$方向上离散度最大，且其垂直方向$Y_2$与$Y_1$重复的信息最少，这样就能获得包含原始信息最多的综合变量$Y_1$和$Y_2$。

图1 主成分分析的几何意

二、主成分分析的求解

对于随机变量$X_1,X_2,...,X_p$而言，其协方差矩阵、相关矩阵是对各变量离散程度和变量之间相关程度的信息反映，在实际求解中，通常从两者入手，且一般而言，两者求得的主成分不同。

2.1 从协方差矩阵求解

（1）计算协方差矩阵
设变量$X_1$和$X_2$服从二元正态分布，则其协方差矩阵为
$$\sum =\left[\begin{array}{cc}{\sigma }_1^2& cov(X_1,X_2)\\ cov(X_1,X_2)& {\sigma }_2^2\end{array}\right]$$
也可以表示为
$$\sum =\left[\begin{array}{cc}{\sigma }_1^2& {\sigma }_1{\sigma }_2{\rho }_{(X_i,X_j)}\\ {\sigma }_1{\sigma }_2{\rho }_{(X_i,X_j)}& {\sigma }_2^2\end{array}\right]$$
（2）求协方差矩阵的 特征根 和 特征向量
特征根和特征向量的求解方法为
令$\left|\lambda E-\sum \right|=0$，对其求解后，得到特征根按大小排序${\lambda }_1>{\lambda }_2>...>{\lambda }_p$，对应的标准正交特征向量为${\gamma }_1,{\gamma }_2,...,{\gamma }_p$，其中${\gamma }_i=(u_{i1},u_{i2},...,u_{ip}{)}^T$，正交向量矩阵$$U=(U_1,U_2,...,U_p{)}^T=({\gamma }_1,{\gamma }_2,...,{\gamma }_p{)}^T=\left[\begin{array}{cccc}{u}_{11}& u_{12}& ...& u_{1p}\\ u_{21}& u_{22}& ...& u_{2p}\\ ...& ...& ...& ...\\ u_{p1}& u_{p2}& ...& u_{pp}\end{array}\right]$$
$u_{ij}$代表第$i$个主成分（第$i$次线性变换）的第$j$个原始变量的变换系数。第$i$个主成分
$$Y_i=u_{i1}{X}_1+u_{i2}{X}_2+...+u_{ip}{X}_p$$
（3）确定主成分的个数

主成分个数的选取原则（基于SPSS）：
① 单个主成分解释的变异（特征根）不因该小于1；
② 选取主成分累积的解释变异（方差贡献率）达到80%-90%。

计算方法（基于计算）：
特征向量${\lambda }_k$的大小代表第$k$个主成分$Y_k$的方差，最大特征值对应的特征向量是协方差矩阵变异最大的方向，${\alpha }_k=\frac{{\lambda }_k}{{\lambda }_1+{\lambda }_2+...+{\lambda }_p}(k=1,2...,p)$为第$k$个主成分$Y_k$的方差贡献率，
$$p_m=\frac{{\sum }_{i=1}^m{\lambda }_i}{{\sum }_{i=1}^p{\lambda }_i}$$
是主成分$Y_1,Y_2,...,Y_m$的累积贡献率。累积贡献率达到85%以上为宜，即主成分个数为$p_m>85$时的$m$值。
（4）映射后得到新的样本集
取前m个综合变量组成新的样本集
$$D=(Y_1,Y_2,...,Y_m)=\{\begin{array}{l}{Y}_1=u_{11}{X}_1+u_{12}{X}_2+...+u_{1p}{X}_p\\ Y_2=u_{21}{X}_1+u_{22}{X}_2+...+u_{2p}{X}_p\\ ......\\ Y_m=u_{m1}{X}_1+u_{m2}{X}_2+...+u_{mp}{X}_p\end{array}$$
新的样本集中，综合变量之间互不相关。

2.2 从相关矩阵求解

相关矩阵求解方法是将原始变量标准化后的协方差矩阵，相当于消除量纲后的协方差矩阵，而协方差矩阵求解方法则是没有消除量纲的协方差矩阵。
可直接由相关系数公式计算，相关系数：
$${\rho }_{(X_i,X_j)}=\frac{cov(X_i,X_j)}{\sqrt{{\sigma }_i^2{\sigma }_j^2}}$$
得相关系数矩阵为：
$$R=\left[\begin{array}{cccc}1& {\rho }_{12}& ...& {\rho }_{1p}\\ {\rho }_{12}& 1& ...& {\rho }_{2p}\\ ...& ...& ...& ...\\ {\rho }_{1p}& {\rho }_{2p}& ...& 1\end{array}\right]$$
也可以先将原始变量标准化后去协方差，$X_1,X_2,...,X_p$标准化后
$$Z_i=\frac{X_i-{\mu }_i}{\sqrt{{\sigma }_i^2}},i=1,2$$
标准化后矩阵用$Z$表示，则相关系数矩阵为
$$cov(Z)=R=\left[\begin{array}{cccc}1& {\rho }_{12}& ...& {\rho }_{1p}\\ {\rho }_{12}& 1& ...& {\rho }_{2p}\\ ...& ...& ...& ...\\ {\rho }_{1p}& {\rho }_{2p}& ...& 1\end{array}\right]$$
相关矩阵实际上就是对原始变量标准化后的协方差矩阵，所以计算特征值和特征向量的过程与2.1一致，主成分个数的确定准则也一样，故不再赘述。

三、两种求解主成分方法的选择

原始变量无量纲，且值域范围相同，则无需标准化，因此使用协方差矩阵求解；
研究单个指标的方差对结果的影响，若使用标准化处理，将无法体现方差影响，因此使用协方差矩阵求解；
其他情况则需要标准化，因此使用相关矩阵求解。

参考书：《多元统计分析》何晓群