机器学习——主成分分析PCA

主成分分析（principal component analysis，PCA）是一种常用的 无监督学习方法，把由 线性相关变量表示的观测数据 转换为少数几个由线性无关变量表示的数据， 线性无关的变量称为主成分。主成分的个数通常小于原始变量的个数，所以主成分分析属于 降维方法。

基本思想

首先，对数据进行规范化，平均值为0，方差为1.
之后，对数据进行正交变换，通过正交变换变成由若干个线性无关的新变量表示的数据。
新变量是可能的正交变换中变量的方差的和最大的，即信息保存的最多的。

主成分

考虑有$m$维随机变量$\mathbf{x}={\left(x_1,x_2,\cdots ,x_m\right)}^{\mathrm{T}}$到$m$维随机变量$\mathbf{y}={\left(y_1,y_2,\cdots ,y_m\right)}^{\mathrm{T}}$的线性变换
$$y_i={\alpha }_i^{\mathrm{T}}\mathbf{x}={\alpha }_{1i}{x}_1+{\alpha }_{2i}{x}_2+\cdots +{\alpha }_{mi}{x}_m$$
由随机变量的性质可知，
$$\begin{array}{l}E\left(y_i\right)={\alpha }_i^{\mathrm{T}}\mu ,i=1,2,\cdots ,m\\ \mathrm{var}\left(y_i\right)={\alpha }_i^{\mathrm{T}}\Sigma {\alpha }_i,i=1,2,\cdots ,m\\ \mathrm{cov}\left(y_i,y_j\right)={\alpha }_i^{\mathrm{T}}\Sigma {\alpha }_j,i=1,2,\cdots ,m;j=1,2,\cdots ,m\end{array}$$
主成分定义，给定一个线性变换，如果满足下列条件：
（1）系数向量${\alpha }_i^{\mathrm{T}}$是单位向量，即${\alpha }_i^{\mathrm{T}}{\alpha }_i=1,i=1,2,\cdots ,m$；
（2）变量$y_i$和$y_j$互不相关，即$\mathrm{cov}\left(y_i,y_j\right)=0(i\ne j)$；
（3）$y_i$是与$y_1,y_2,\cdots ,y_{i-1}(i=1,2,...,m)$都互不相关的$\mathbf{x}$的所有线性变换中方差最大的，这时分别称$y_1,y_2,\cdots ,y_m$为$\mathbf{x}$的第一主成分、第二主成分、…、第$m$主成分。

主要性质

设$\mathbf{x}$是$m$维随机变量，$\Sigma$是$\mathbf{x}$的协方差矩阵，$\Sigma$的特征值分别是${\lambda }_1⩾{\lambda }_2⩾\cdots ⩾{\lambda }_m⩾0$特征值对应的单位特征向量分别是${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m$，则$\mathbf{x}$的第$k$主成分是
$$y_k={\alpha }_k^{\mathrm{T}}\mathbf{x}={\alpha }_{1k}{x}_1+{\alpha }_{2k}{x}_2+\cdots +{\alpha }_{mk}{x}_m,k=1,2,\cdots ,m$$
$\mathbf{x}$的第$k$主成分的方差是
$$\mathrm{var}\left(y_k\right)={\alpha }_k^{\mathrm{T}}\Sigma {\alpha }_k={\lambda }_k,k=1,2,\cdots ,m$$
即协方差矩阵$\Sigma$的第$k$个特征值。
求第一主成分就是求解约束最优化问题：
$$\begin{array}{ll}{\max }_{{\alpha }_1}& {\alpha }_1^{\mathrm{T}}\Sigma {\alpha }_1\\ \text{ s.t. }& {\alpha }_1^{\mathrm{T}}{\alpha }_1=1\end{array}$$
${\alpha }_1^{\mathrm{T}}x$构成第一主成分，其方差等于协方差矩阵的最大特征值$\mathrm{var}\left({\alpha }_1^{\mathrm{T}}\mathbf{x}\right)={\alpha }_1^{\mathrm{T}}\Sigma {\alpha }_1={\lambda }_1$

求解过程
定义拉格朗日函数${\alpha }_1^{\mathrm{T}}\Sigma {\alpha }_1-\lambda \left({\alpha }_1^{\mathrm{T}}{\alpha }_1-1\right)$，对其求导得到$\Sigma {\alpha }_1-\lambda {\alpha }_1=0$，于是目标函数${\alpha }_1^{\mathrm{T}}\Sigma {\alpha }_1={\alpha }_1^{\mathrm{T}}\lambda {\alpha }_1=\lambda {\alpha }_1^{\mathrm{T}}{\alpha }_1=\lambda$

求解第二主成分需要求解约束最优化问题
$$\begin{array}{rl}\underset{{\alpha }_2}{\max }& {\alpha }_2^{\mathrm{T}}\Sigma {\alpha }_2\\ \text{ s.t. }& {\alpha }_1^{\mathrm{T}}\Sigma {\alpha }_2=0,{\alpha }_2^{\mathrm{T}}\Sigma {\alpha }_1=0\\ & {\alpha }_2^{\mathrm{T}}{\alpha }_2=1\end{array}$$
${\alpha }_2^{\mathrm{T}}x$构成第二主成分，其方差等于协方差矩阵的第二大特征值，$\mathrm{var}\left({\alpha }_2^{\mathrm{T}}\mathbf{x}\right)={\alpha }_2^{\mathrm{T}}\Sigma {\alpha }_2={\lambda }_2$

求解过程
${\alpha }_1^{\mathrm{T}}\Sigma {\alpha }_2={\alpha }_2^{\mathrm{T}}\Sigma {\alpha }_1={\alpha }_2^{\mathrm{T}}{\lambda }_1{\alpha }_1={\lambda }_1{\alpha }_2^{\mathrm{T}}{\alpha }_1={\lambda }_1{\alpha }_1^{\mathrm{T}}{\alpha }_2$，以及${\alpha }_1^{\mathrm{T}}{\alpha }_2=0,{\alpha }_2^{\mathrm{T}}{\alpha }_1=0$
定义拉格朗日函数${\alpha }_2^{\mathrm{T}}\Sigma {\alpha }_2-\lambda \left({\alpha }_2^{\mathrm{T}}{\alpha }_2-1\right)-\varphi {\alpha }_2^{\mathrm{T}}{\alpha }_1$，求导得$2\Sigma {\alpha }_2-2\lambda {\alpha }_2-\varphi {\alpha }_1=0$
左乘${\alpha }_1^T$有，$2{\alpha }_1^{\mathrm{T}}\Sigma {\alpha }_2-2\lambda {\alpha }_1^{\mathrm{T}}{\alpha }_2-\varphi {\alpha }_1^{\mathrm{T}}{\alpha }_1=0$，前两项为0，导出$\varphi =0$
因此$\Sigma {\alpha }_2-\lambda {\alpha }_2=0$，于是有${\alpha }_2^{\mathrm{T}}\Sigma {\alpha }_2={\alpha }_2^{\mathrm{T}}\lambda {\alpha }_2=\lambda {\alpha }_2^{\mathrm{T}}{\alpha }_2=\lambda$

一般地，第$k$主成分的方差等于$\Sigma$的第$k$个特征值，$\mathrm{var}\left({\alpha }_k^{\mathrm{T}}\mathbf{x}\right)={\alpha }_k^{\mathrm{T}}\Sigma {\alpha }_k={\lambda }_k$
下面叙述总体主成分的性质：
(1) 总体主成分$\mathbf{y}$的协方差矩阵是对角矩阵
$$\mathrm{cov}(\mathbf{y})=\Lambda =\mathrm{diag}\left({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_m\right)$$

推导：
$$\begin{gathered} \Sigma {\alpha }_k={\lambda }_k{\alpha }_k,k=1,2,\cdots ,m \\ \Sigma A=A\Lambda \Sigma =A\Lambda A^{\mathrm{T}}\mathbf{y}=A^{\mathrm{T}}\mathbf{x} \end{gathered}$$

(2) 总体主成分$\mathbf{y}$的方差之和等于随机变量x的方差之和，即
$$\sum _{i=1}^m{\lambda }_i=\sum _{i=1}^m{\sigma }_{ii}$$
(3) 第$k$个主成分$y_k$与变量$x_i$的相关系数$\rho \left(y_k,x_i\right)$称为因子负荷量(factor loading)，它表示第$k$分主成分$y_k$与变量$x_i$的相关关系。计算公式如下：
$$\rho \left(y_k,x_i\right)=\frac{\mathrm{cov}\left(y_k,x_i\right)}{\sqrt{\mathrm{var}\left(y_k\right)\mathrm{var}\left(x_i\right)}}=\frac{\mathrm{cov}\left({\alpha }_k^{\mathrm{T}}\mathbf{x},e_i^{\mathrm{T}}\mathbf{x}\right)}{\sqrt{{\lambda }_k}\sqrt{{\sigma }_{ii}}}=\frac{\sqrt{{\lambda }_k}{\alpha }_{ik}}{\sqrt{{\sigma }_{ii}}},k,i=1,2,\cdots ,m$$
(4) 第$k$个主成分$y_k$与$m$个变量的因子负荷量满足
$$\sum _{i=1}^m{\sigma }_{ii}{\rho }^2\left(y_k,x_i\right)=\sum _{i=1}^m{\lambda }_k{\alpha }_{ik}^2={\lambda }_k{\alpha }_k^{\mathrm{T}}{\alpha }_k={\lambda }_k$$

主成分个数

主成分分析的主要目的是降维，对任意正整数$q,1⩽q⩽m$，考虑正交线性变换
$$\mathbf{y}=B^{\mathrm{T}}\mathbf{x}$$
其中$\mathbf{y}$是$q$维向量，$B^{\mathrm{T}}$是$q\times m$矩阵，令$\mathbf{y}$的协方差矩阵为
$${\Sigma }_{\mathbf{y}}=B^{\mathrm{T}}\Sigma B$$
则${\Sigma }_{\mathbf{y}}$的迹$\mathrm{tr}\left({\Sigma }_{\mathbf{y}}\right)$在$B=A_q$时取得最大值，其中矩阵$A_q$由正交矩阵$A$的前$q$列组成。
第$k$主成分$y_k$的方差贡献率定义为$y_k$的方差与所有方差之和的比，记作${\eta }_k$
$${\eta }_k=\frac{{\lambda }_k}{{\sum }_{i=1}^m{\lambda }_i}$$
$k$个主成分$y_1,y_2,\cdots ,y_k$的累计方差贡献率定义为$k$个方差之和与所有方差之和的比
$$\sum _{i=1}^k{\eta }_i=\frac{{\sum }_{i=1}^k{\lambda }_i}{{\sum }_{i=1}^m{\lambda }_i}$$
累计方差贡献率放映了主成分保留信息的比例。
在实际问题中，不同变量可能有不同的量纲，常常对各个随机变量实施规范化，使其均值为0，方差为1。显然规范化随机变量的协方差矩阵就是相关矩阵$R$。