主成分分析基本原理

课堂翻译

主成分分析

8.2 基本思想和数学模型

8.2.1 基本思想

主成分通过使用少量的综合性的变量来表示原始数据绝大部分的变化，因此，提出了一种协方差结构的简单描述。

综合变量是原始变量的线性组合，也被叫做主成分。

几何解释

通过旋转原始数据得到一个新的坐标系，使得新的坐标能够表示最大变量的方向

8.2.2 数学模型

原始变量：$X=[x_1,x_2,\cdots ,x_p]$，每一个$x_i$是一个随机变量，我们假设$E(x_i)=0$。

第一个主成分：$f_1=a_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1p}{x}_p$，

其中$a_1=[a_{11},a_{12},\cdots ,a_{1p}{]}^{\prime }$是下列问题的解：

$$maxvar(f_1)=a_1^{\prime }\sum a_1，s.t.||a_1|{|}^2=1$$
第二主成分：$f_2=a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2p}{x}_p$，除了对$a_1$施加的约束外，我们还需要令$f_1$和$f_2$不相关。
$$cov(f_1,f_2)=cov\left(\sum _{j=1}^p{a}_{1j}{x}_j,\sum _{k=1}^p{a}_{2k}{x}_k)\right)=a_1^{\prime }\sum a_2=0$$
因此，$a_2=[a_{21},a_{22},\cdots ,a_{2p}{]}^{\prime }$是下列问题的答案：
$$maxvar(f_2)=a_2^{\prime }\sum a_2$$

$$s.t.||a_2||=1,cov(f_1,f_2)=a_1^{\prime }\sum a_2=0$$

第$i$个主成分：$f_i=a_{i1}{x}_1+a_{i2}{x}_2+\cdots +a_{ip}{x}_p$，

其中$a_i=[a_{i1},a_{i2},\cdots ,a_{ip}{]}^{\prime }$是以下问题的解：
$$\begin{gathered} maxvar(f_i)=a_i^{\prime }\sum a_i \\ \begin{array}{rl}s.t.& ||a_i|{|}_2=1,\\ & cov(f_1,f_i)=a_1^{\prime }\sum a_i=0,\\ & cov(f_2,f_i)=a_2^{\prime }\sum a_i=0,\\ & ⋮\\ & cov(f_{i-1},f_i)=a_{i-1}^{\prime }\sum a_i=0\end{array} \end{gathered}$$

第一主成分的解

现在我们来考虑最大值问题
$$maxvar(f_1)=a_1^{\prime }\sum a_{1}s.t.||a_1|{|}^2=1$$
注意$\sum$是一个对称的非负定矩阵，则存在一个正交矩阵$U=[u_1|u_2|\cdots |u_p]$使得

$$U^T\sum U=\Lambda =\left[\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_p\end{array}\right](8-1)$$
其中${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_p\ge 0$是协方差矩阵$\sum$的特征值。

从公式8-1中我们得出
$$\sum =U\Lambda U^T=\sum _{i=1}^p{\lambda }_i{u}_i{u}_i^T$$

$$\begin{array}{rl}var(f_1)& =a_1^T\sum a_1=a_1^T\left(\sum _{i=1}^P{\lambda }_i{u}_i{u}_i^T\right)a_1=\sum _{i=1}^p{\lambda }_i{a}_1^T{u}_i{u}_i^T{a}_1\\ & =\sum _{i=1}^p{\lambda }_i⟨a_1,u_i{⟩}^2\\ & \le {\lambda }_1\sum _{i=1}^p⟨a_1,u_i{⟩}^2={\lambda }_1{a}_1^T\left(\sum _{i=1}^p{u}_i{u}_i^T\right)a_1={\lambda }_1{a}_1^T{a}_1={\lambda }_1\end{array}$$

因此${\lambda }_1$是$var(f_1)$的一个上界。

另一方面，这个上界是可解的。实际上，如果我们令$a_1=u_1$，则有
$$var(f_1)=\sum _{i=1}^p{\lambda }_i⟨a_1,u_i{⟩}^2=\sum _{i=1}^p{\lambda }_i⟨u_1,u_i{⟩}^2={\lambda }_1$$
以上，我们证明了以下结论：

结论1：

第一主成分是$f_1=u_{11}{x}_1+u_{12}{x}_2+\cdots +u_{1p}{x}_p$

而$u_1=[u_{11},u_{12},\cdots ,u_{1p}{]}^T$是$\sum$关于最大特征值${\lambda }_1$的单位特征向量，此外$var(f_1)={\lambda }_1$。

第二主成分求解

先考虑最大化问题：
$$\begin{gathered} maxvar(f_2)=a_2^T\sum a_2 \\ s.t.||a_2|{|}^2=1,cov(f_1,f_2)=u_1^T\sum a_2=0 \end{gathered}$$

$$\begin{array}{rl}cov(f_1,f_2)& =u_1^T\sum a_2=u_1^T\left(\sum _{i=1}^p{\lambda }_i{u}_i{u}_i^T\right)a_2\\ & =\sum _{i=1}^p{\lambda }_i{u}_1^T{u}_i{u}_i^T{a}_2=\sum _{i=1}^p{\lambda }_i⟨u_1,u_i⟩⟨u_i,a_2⟩={\lambda }_1⟨u_1,a_2⟩\end{array}$$

因此$cov(f_1,f_2)=0$可以推出$⟨u_1,a_2⟩=0$。

与第一主成分的求解过程相同，可得
$$\begin{gathered} var(f_2)=\sum _{i=1}^p{\lambda }_i⟨a_2,u_i{⟩}^2=\sum _{i=2}^p{\lambda }_i⟨a_2,u_i{⟩}^2 \\ \le {\lambda }_2\sum _{i=2}^p⟨a_2,u_i{⟩}^2={\lambda }_2\sum _{i=1}^p⟨a_2,u_i{⟩}^2={\lambda }_2 \end{gathered}$$
因此${\lambda }_2$是$var(f_2)$的一个上界，并且这个上界是可解的，实际上，我们令$a_2=u_2$，那么
$$var(f_2)=\sum _{i=1}^p{\lambda }_i⟨u_2,u_i{⟩}^2={\lambda }_2$$
至此，我们证明了下述结论：

结论2

第二主成分是$f_2=u_{21}{x}_1+u_{22}{x}_2+\cdots +u_{2p}{x}_p$，而$u_2=[u_{21},u_{22},\cdots ,u_{2p}{]}^T$是$\sum$关于第二大特征值${\lambda }_2$的单位特征向量，此外$var(f_2)={\lambda }_2$。

第三主成分、第四主成分，等等，这些都可以类似的推导出来。

一般结论：

定理8.1

设$\sum$为原始变量$X=[x_1,x_2,\cdots ,x_p]$的协方差矩阵，${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_p\ge 0$是$\sum$的特征值，$u_1,u_2,\cdots ,u_p$是各特征值对应的单位特征向量。则第i个主成分由$f_i=u_{i1}{x}_1+u_{i2}{x}_2+\cdots +u_{ip}{x}_p$给出。

$f_i$的方差$var(f_i)={\lambda }_i$。如果一些特征值${\lambda }_i$相等，那么对应的主成分$f_i$并不唯一。

8.3 一些重要结论

定理8.2

主成分$F=[f_1,f_2,\cdots ,f_p]$不相关，即$cov(F,F)$是对角矩阵。

证明：从定理8.1可知

$f_i=u_{i1}{x}_1+u_{i2}{x}_2+\cdots +u_{ip}{x}_p,i=1,2,\cdots ,p$

$u_i=[u_{i1},u_{i2},\cdots ,u_{ip}{]}^T$是协方差阵$\sum$对应于特征值${\lambda }_i$的特征向量。
$$\begin{array}{rl}cov(f_i,f_j)& =cov\left(\sum _{k=1}^p{u}_{ik}{x}_k,\sum _{l=1}^p{u}_{jl}{x}_l\right)\\ & =\sum _{k=1}^p\sum _{l=1}^p{u}_{ik}{u}_{jl}cov(x_k,x_l)\\ & =u_i\sum u_j={\lambda }_j{u}_i^T{u}_j={\lambda }_j{\delta }_{i,j}\end{array}$$
定理8.3

设$\sum$为原始变量$X=[x_1,x_2,\cdots ,x_p]$的协方差矩阵，${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_p\ge 0$是$\sum$的特征值，并且$f_i=u_{i1}{x}_1+u_{i2}{x}_2+\cdots +u_{ip}{x}_p,i=1,2,\cdots ,p$是主成分。

有
$$\sum _{i=1}^{p}var(f_i)=\sum _{i=1}^p{\lambda }_i=\sum _{i=1}^p{\sigma }_{ii}=\sum _{i=1}^{p}var(x_i)$$
其中${\sigma }_{ii}$是协方差矩阵$\sum$的对角线元素。

方差不变法则

证明：从定理8.1 我们得知$var(f_i)={\lambda }_i$，则
$$\sum _{i=1}^{p}var(f_i)=\sum _{i=1}^p{\lambda }_i=trace(\Lambda )(8-2)$$
由公式8-1，有$U^T\sum U=\Lambda$，其中$U$是正交矩阵，因此，我们根据$trace(AB)=trace(BA)$和$U{U}^T=I$推导出
$$trace(\Lambda )=trace(U^T\sum U)=trace(U{U}_T\sum )=trace(\sum )(8-3)$$
由公式(8-2)和(8-3)，命题得证。

---

练习：证明$trace(BA)=trace(AB)$

---

定理8.4

定理8.3表明总体方差为
$${\sigma }_T=\sum _{i=1}^p{\sigma }_{ii}=\sum _{i=1}^p{\lambda }_i$$
因此，第$k$个主成分的方差解释率为：
$$\frac{{\lambda }_k}{{\sigma }_T}=\frac{{\lambda }_k}{{\lambda }_1+{\lambda }_1+\cdots +{\lambda }_p}$$
则前$k$个主成分的方差解释率为：
$$\frac{{\lambda }_1+{\lambda }_1+\cdots +{\lambda }_k}{{\lambda }_1+{\lambda }_1+\cdots +{\lambda }_p}$$
我们称前者为方差贡献率，后者为总体贡献率。

在许多真实案例中，有大量的原始变量，但是前一个、两个或三个成分就可以解释大部分（例如：80%~90%）的总体方差，因此，在避免损失大量信息的前提下，我们可以使用这些成分来代替原始的$p$个变量。

定理8.5

设$\sum$是原始变量$X=[x_1,x_2,\cdots ,x_p]$的协方差矩阵，并且
$$f_i=u_{i1}{x}_1+u_{i2}{x}_2+\cdots +u_{ip}{x}_p$$
是主成分，则
$${\rho }_{f_i,x_k}=\frac{u_{ik}\sqrt{{\lambda }_i}}{\sqrt{{\sigma }_{kk}}}$$
其中${\rho }_{f_i,x_k}$是$f_i$和$x_k$的相关系数。

证明

设$c_k=[cov(x_1,f_k),cov(x_2,f_k),\cdots ,cov(x_p,f_k){]}^T$，则有$c_k={\sum }^T{u}_k=\sum u_k={\lambda }_k{u}_k$

因此有
$$\begin{array}{r}\rho (x_i,f_k)=\frac{cov(x_i,f_k)}{\sqrt{var(f_k)}\cdot \sqrt{var(x_i)}}\\ =\frac{{\lambda }_k{u}_{ik}}{\sqrt{{\lambda }_k}\sqrt{{\sigma }_{ii}}}=\frac{u_{ik}\sqrt{{\lambda }_k}}{\sqrt{{\sigma }_{ii}}}\end{array}$$
定义8.1

我们称$\rho (x_i,f_k)$为因子载荷，并且称矩阵$L=[l_{ik}{]}_{i,k=1,2,\cdots ,p}$为因子载荷矩阵。

从定理8.4，我们可以推导出
$$L=D^{-1/2}U{\Lambda }^{1/2},D=\left[\begin{array}{cccc}{\sigma }_{11}& & & \\ & {\sigma }_{22}& & \\ & & \ddots & \\ & & & {\sigma }_{pp}\end{array}\right],\Lambda =\left[\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_p\end{array}\right]$$
如果原始变量的方差都等于1，那么$D=I$，因此有$L=U{\Lambda }^{1/2}$

定理8.6

载荷因子$I_{jk}$满足下列等式：
$$\sum _{k=1}^p{l}_{ik}^2=1,i=1,2,\cdots ,p$$
而且，如果$var(x_i)=1$对于所有的原始变量$x_i$都成立，那么
$$\sum _{i=1}^p{l}_{ik}^2={\lambda }_k,k=1,2,\cdots ,p$$
证明

设$X=[x_1,x_2,\cdots ,x_p]$是原始变量的行向量，并且$F=[f_1,f_2,\cdots ,f_p]$是行向量的主成分。则有
$$F=XU$$
其中$U$是正交矩阵，正交矩阵的第$k$列是协方差矩阵$\sum$关于特征值$u_k$的特征向量$u_k$，因此$X=F{U}^T$。
$$x_i=u_{i1}{f}_1+u_{i2}{f}_2+\cdots +u_{ip}{f}_p,i=1,2,\cdots ,p$$

$$\begin{array}{rl}var(x_i)& =var(u_{i1}{f}_1+u_{i2}{f}_2+\cdots +u_{ip}{f}_p)\\ & =u_{i1}^{2}var(f_1)+\cdots +u_{ip}^{2}var(f_p)\\ & =u_{i1}^2{\lambda }_1+u_{i2}^2{\lambda }_2+\cdots +u_{ip}^2{\lambda }_p\end{array}$$

$$\begin{array}{rl}{l}_{ik}^2=\rho (x_i,f_k{)}^2& =\frac{cov(x_i,f_k{)}^2}{var(x_i)var(f_k)}\\ & =\frac{u_{ik}^2{\lambda }_k^2}{(u_{i1}^2{\lambda }_1+u_{i2}^2{\lambda }_2+\cdots +u_{ip}^2{\lambda }_p){\lambda }_k}\\ & =\frac{u_{ik}^2{\lambda }_k}{u_{i1}^2{\lambda }_1+u_{i2}^2{\lambda }_2+\cdots +u_{ip}^2{\lambda }_p}\end{array}$$

因此
$$\sum _{k=1}^p{l}_{ik}^2=1,i=1,2,\cdots ,p$$
如果$var(x_i)=1$对所有的$i$都成立，那么
$$\sum _{i=1}^p{l}_{ik}^2=\sum _{i=1}^p\frac{u_{ik}^2{\lambda }_k^2}{{\lambda }_k}={\lambda }_k\sum _{i=1}^p{u}_{ik}^2={\lambda }_k,k=1,2,\cdots ,p$$

8.4 PCA与SVD的关系

现在我们来探索奇异值分解与主成分分析之间的联系

假设原始数据由$n\times p$矩阵$X=[x_1|x_2|\cdots |x_p]$表示，$x_i$表示列向量。

假设我们从原始数据中提取$p$个无相关性的主成分$F=[f_1|f_2|\cdots |f_p]$，则$F=XU$,其中$U$是正交矩阵。那么
$$cov(F,F)=\frac{1}{n-1}{F}^{T}F=\Lambda$$
其中$\Lambda$是对角元素为${\lambda }_i=var(f_i)$的对角矩阵。

现在假设${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_r>0$，${\lambda }_{r+1}={\lambda }_{r+2}=\cdots ={\lambda }_p=0$，那么
$${\Lambda }^{-1/2}=\left[\begin{array}{cccccc}\frac{1}{\sqrt{{\lambda }_1}}& & & & & \\ & \ddots & & & & \\ & & \frac{1}{\sqrt{{\lambda }_r}}& & & \\ & & & 0& & \\ & & & & \ddots & \\ & & & & & 0\end{array}\right]$$
因此，我们有
$$\frac{1}{n-1}{\Lambda }^{-1/2}{F}^{T}F{\Lambda }^{-1/2}=\left[\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right]$$
令$F_s=\frac{1}{\sqrt{n-1}}F{\Lambda }^{-1/2}$，则
$$(F_s{)}^T{F}_s=\left[\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right]$$
换句话说，$F_s$的前$r$列是正交的。

因为$F_s=\frac{1}{\sqrt{n-1}}F{\Lambda }^{-1/2}=\frac{1}{n-1}XU{\Lambda }^{-1/2}$，我们推导出
$$\frac{1}{\sqrt{n-1}}X=F_s{\Lambda }^{1/2}{U}^T$$
这是对$\frac{1}{\sqrt{n-1}}X$的奇异值分解。

为了得出全部的奇异值分解公式，我们只需要用一些新的单位向量来代替$p-r$个零向量，从而生成正交矩阵$F_o$，那么
$$\frac{1}{\sqrt{n-1}}X=F_o{\Lambda }^{1/2}{U}^t$$
这是$\frac{1}{\sqrt{n-1}}$全部的奇异值分解。