主成分分析简介

本文主要介绍总体及样本的主成分的概念，如何可视化，以及一些最基本的性质。

1 总体的主成分

考虑$x\sim (\mu ,\Sigma )$，其中$\Sigma$可分解为$\Sigma =\Gamma \Lambda {\Gamma }^{\prime }$，$\Gamma =({\eta }_1,\dots ,{\eta }_d)$，各列为单位特征向量，$\Lambda$为特征值降序排列的对角矩阵，协方差矩阵的秩$\text{rank}(\Sigma )=r$，对于$k=1,\dots ,r$，定义如下概念：

• 第$k$个principal component score（主成分得分）为$w_k={\eta }_k^{\prime }(x-\mu )$；
• 第$k$个principal component vector（主成分向量）为$w^{(k)}=(w_1,\dots ,w_k{)}^{\prime }={\Gamma }_k^{\prime }(x-\mu )$；
• 第$k$个principal component projection (vector)（主成分映射（向量））为$p_k={\eta }_k{\eta }_k^{\prime }(x-\mu )=w_k{\eta }_k$。

我们来仔细看以上几个概念。${\eta }_k$也叫载荷（loading），score $x_k$其实就是$x$在方向${\eta }_k$上的贡献，也就是将$x$投影到${\eta }_k$，而将前$k$个score放到一起，就组成了$x^{(k)}$。$p_k$是一个$d$维向量，它的方向就是${\eta }_k$的方向，长度/欧式范数为$|x_k|$。

2 样本的主成分

假设我们有$n$个样本，将它们排成$d\times n$的矩阵$X=(x_1,\dots ,x_n)$，记样本均值$\bar{x}=\frac{1}{n}X{\ell }_n$，样本协方差矩阵$S=\frac{1}{n-1}(X-\bar{x}{\ell }_n^{\prime })(X-\bar{x}{\ell }_n^{\prime }$