数学建模学习笔记（十三）——主成分分析

一、综述

主成分分析的本质是降维，她能够将多个指标转换为少数几个主成分。这些主成分之间互不相关，且是原变量的线性组合。通过对主成分的分析便可对原始数据有一个较为准确的把握。

二、主成分分析

假设有 $n$ 个样本，$p$ 个指标，则可构成大小为 $n\times p$ 的样本矩阵 $x$：$$x=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1p}\\ x_{21}& x_{22}& \cdots & x_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ x_{n1}& x_{n2}& \cdots & x_{np}\end{array}\right]$$ 假设想要找到一组变量 $z_1,z_2,\cdots ,z_m(m\le p)$，且满足：$$\{\begin{array}{rl}& z_1=l_{11}{x}_1+l_{12}{x}_2+\cdots +l_{1p}{x}_p\\ & z_2=l_{21}{x}_1+l_{22}{x}_2+\cdots +l_{2p}{x}_p\\ ⋮& \\ & z_m=l_{m1}{x}_1+l_{m2}{x}_2+\cdots +l_{mp}{x}_p\end{array}$$ 系数 $l_{ij}$ 的确定原则：
（1）$z_i$ 与 $z_j(i\ne j;i,j=1,2,\cdots ,m)$ 相互无关；
（2）$z_1$ 是 $x_1,x_2,\cdots ,x_p$ 的一切线性组合中方差最大者；
（3）$z_2$ 是与 $z_1$ 不相关的 $x_1,x_2,\cdots ,x_p$ 的所有线性组合中方差最大者；
（4）以此类推，从而可以确定 $l_{ij}$。

三、主成分分析的计算步骤（可在Matlab实现）

1. 对原始数据矩阵进行标准化处理
   按列计算均值 $\overline{x_j}=\frac{1}{n}{\sum }_{i=1}^n{x}_{ij}$ 和标准差 $S_j=\sqrt{\frac{{\sum }_{i=1}^n(x_{ij}-\overline{x_j}{)}^2}{n-1}}$ ，计算的标准化数据 $X_{ij}=\frac{x_{ij}-\overline{x_j}}{S_j}$，从而可以得到原始数据进行标准化后的矩阵：$$X=\left[\begin{array}{cccc}{X}_{11}& X_{12}& \cdots & X_{1p}\\ X_{21}& X_{22}& \cdots & X_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ X_{n1}& X_{n2}& \cdots & X_{np}\end{array}\right]$$

2. 计算标准样本的协方差矩阵 $$r_{ij}=\frac{1}{n-1}\sum _{i=1}^n(X_{ki}-{\bar{X}}_i)(X_{kj}-{\bar{X}}_j)=\frac{1}{n-1}\sum _{i=1}^n{X}_{ki}{X}_{kj}$$ 从而可以得到协方差矩阵：$$R=\left[\begin{array}{cccc}{r}_{11}& r_{12}& \cdots & r_{1p}\\ r_{21}& r_{22}& \cdots & r_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ r_{p1}& r_{p2}& \cdots & r_{pp}\end{array}\right]$$

3. 计算 $R$ 的特征值和特征向量
   特征值：${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_p\ge 0$
   特征向量：KaTeX parse error: Undefined control sequence: \cdtos at position 150: …\end{bmatrix}, \̲c̲d̲t̲o̲s̲, a_p = \begin…

4. 计算主成分贡献率以及累计贡献率

   贡献率 = $\frac{{\lambda }_i}{{\sum }_{k=1}^p{\lambda }_k}(i=1,2,\cdots ,p)$

   累计贡献率 = $\frac{{\sum }_{k=1}^i{\lambda }_k}{{\sum }_{k=1}^p{\lambda }_k}(i=1,2,\cdots ,p)$

5. 写出主成分
   第 $i$ 个主成分：$F_i=a_{1i}{X}_1+a_{2i}{X}_2+\cdots +a_{pi}{X}_p(i=1,2,\cdots ,m)$

6. 根据系数分析主成分代表的意义
   对于每个主成分而言，指标前面的系数越大，代表该指标对于主成分的影响越大。注意：对于主成分的解释往往是最困难的一步。

四、对于主成分的解释

主成分的解释往往带有一点模糊性，没有原始变量那么清晰透彻，许多人将它称为降维的代价。一旦主成分中某个主成分无法解释，那么整个主成分分析也就失败了。

五、主成分分析的应用

1. 主成分聚类
   计算出主成分之后，可以将其视为新的指标，然后再SPSS中进行聚类分析。

2. 主成分回归
   主成分回归可以用于解决多重共线性的问题。计算出主成分后将其视为自变量，便可以在Stata中进行回归分析。注意进行异方差检验哦~~~

   关于多重共线性下，主成分回归和逐步回归的选取：

   1. 如果主成分能够被很好的解释，那么两者都采用(๑•̀ㅂ•́)و✧！
   2. 如果主成分不能很好的解释，那么建议采用逐步回归。