08 主成分分析（进阶版）

08 主成分分析（进阶版）

标签：机器学习与数据挖掘

1.主成分定义

  设随机向量${\mathbf{X}}^{\text{T}}=\left[X_1,X_2,...,X_P\right]$ 有协方差矩阵乏，其特征值$\lambda _1\geqslant \lambda _2\geqslant …\geqslant \lambda _p\geqslant 0 $。
  考虑线性组合：
$$\begin{gathered} Y_1={\mathbf{a}}_1^{\prime }\mathbf{X}=a_{11}{X}_1+a_{12}{X}_2+...+a_{1p}{X}_p \\ {Y}_2={\mathbf{a}}_2^{\prime }\mathbf{X}=a_{21}{X}_1+a_{22}{X}_2+...+a_{2p}{X}_p \\ ... \\ {Y}_p={\mathbf{a}}_p^{\prime }\mathbf{X}=a_{p1}{X}_1+a_{p2}{X}_2+...+a_{pp}{X}_p \end{gathered}$$
则，我们可以得到：
$$\begin{gathered} Var\left(Y_i\right)={\mathbf{a}}_{\mathbf{i}}^{\prime }{\Sigma \mathbf{a}}_{\mathbf{i}}i=\text{1,2,...,}p \\ Cov\left(Y_i,Y_k\right)={\mathbf{a}}_{\mathbf{i}}^{\prime }{\Sigma \mathbf{a}}_{\mathbf{k}}i,k=\text{1,2,...,}p \end{gathered}$$
上式的那些$Y_1$，$Y_2$，…，$Y_p$，它们使得方差尽可能的大
第一主成分是最大方差的显著性组合，即使得$Var\left( Y_i \right) $最大化。显然，$Var\left( Y_i \right) $会因为$\boldsymbol{a_1}$乘以某一个常数而增大。为消除这种不确定性，一个方便的方法是值关注有单位长度的系数向量。我们因此定义：
第一主成分 $=$ 线性组合${\mathbf{a}}_1^{\prime }\mathbf{X}$，在${\mathbf{a}}_1^{\prime }{\mathbf{a}}_1=1$时，它使$Var\left({\mathbf{a}}_1^{\prime }\mathbf{X}\right)=0$最大。

第二主成分 $=$ 线性组合${\mathbf{a}}_2^{\prime }\mathbf{X}$，在${\mathbf{a}}_2^{\prime }{\mathbf{a}}_2=1$和$Cov\left({\mathbf{a}}_{\mathbf{i}}^{\prime }{\mathbf{X},\mathbf{a}}_{\mathbf{k}}^{\prime }\mathbf{X}\right)=0$时，它使$Var\left({\mathbf{a}}_2^{\prime }\mathbf{X}\right)$最大。

…

第$i$主成分$=$线性组合${\mathbf{a}}_{\mathbf{i}}^{\prime }\mathbf{X}$，和${\mathbf{a}}_{\mathbf{i}}^{\prime }{\mathbf{a}}_{\mathbf{i}}=1$和$Cov\left({\mathbf{a}}_{\mathbf{i}}^{\prime }{\mathbf{X},\mathbf{a}}_{\mathbf{k}}^{\prime }\mathbf{X}\right)=0(k<i)$时，它使$Var\left({\mathbf{a}}_i^{\prime }\mathbf{X}\right)$最大。

2.重要结论：

用语言来描述结论8.2：
$$\begin{gathered} \text{总体总方差}={\sigma }_{11}+{\sigma }_{22}+...+{\sigma }_{\begin{array}{c}pp\end{array}} \\ ={\lambda }_1+{\lambda }_2+...+{\lambda }_p \end{gathered}$$

推导：
$${\rho }_{Y_i,X_i}=\frac{Cov\left(Y_i,X_k\right)}{\sqrt{Var\left(Y_i\right)}\sqrt{Var\left(X_k\right)}}=\frac{{\lambda }_i{e}_{ik}}{\sqrt{{\lambda }_i}\sqrt{{\sigma }_{kk}}}=\frac{e_{ik}\sqrt{{\lambda }_i}}{\sqrt{{\sigma }_{kk}}}$$
理解：这其实是按照相关系数的算法，算出的东西叫做信息量。

6.解释

  首先，我们知道对一个矩阵的谱分解意味着对这个所在的n维图形找出它的特征。若是2维的一个椭圆，即是找出它的长短轴，而实际上，主成分同样。考虑一个二元正态随机向量：

  我们可以看到，对于此图形，我们对其做主成分分析（也是谱分解）实际的操作就是找出其长短轴，也就是它的特征，并以此为基础进行变换。对于p维而已，减少其轴的数量也就是减少其维度。
  当然，我们现在针对一下这个2维数据，可以发现其长轴方向就是其方差最大化的地方。

7.代码实现

R的话，参考本博客 R语言 里面 第四站的内容。