主成分分析法PCA

1.简介

主成分分析（principal component analysis,PCA）是一种常见的无监督学习方法，其通过正交变化将线性相关变量表示的观测数据转换为少数几个由线性无关变量表示的数据，线性无关的变量称为主成分。主成分的个数通常小于原始变量个数，因此可以通过主成分分析进行降维。PCA常用于发现数据的基本结构及用于其他机器学习方法的预处理。
主成分分析先将给定数据规范化，使得每一变量均值为0，方差为1，然后通过正交变换变成由若干个线性无关的新变量表示的数据。新变量是可能的正交变换中变量的方差的和（信息保存）最大的，方差表示在新变量上信息的大小。将新变量依次称为第一主成分、第二主成分等。

2.定义

给定一个x->y的线性变换：
$x=(x_1,x_2,...,x_m{)}^T$是m维随机变量，其均值向量为$\mu$
$\mu =E(x)=({\mu }_1,{\mu }_2,...{\mu }_m{)}^T$
协方差矩阵为$\sum =cov(x,x)=E[(x-\mu )(x-\mu {)}^T]$
当进行线性变换时：$y_i={\alpha }_i^{T}x$
由随机变量的性质可知：

• $E(y_i)={\alpha }_i^T{\mu }_i$
• $var(y_i)={\alpha }_i^T\sum {\alpha }_i$
• $cov(y_i,y_j)={\alpha }_i^T\sum {\alpha }_j$

总体主成分定义为：

• 系数向量是单位向量${\alpha }_i^T{\alpha }_i=1$
• 变量y之间互不相关
• 变量$y_i$随着i增大，依次为与之前不相关的x线性变换中方差最大的。

3.主要性质及求解

3.1 x的第k主成分是

• $y_k={\alpha }_k^{T}x$ $var(y_k)={\lambda }_k$
• ${\sum }_{i=1}^m{\lambda }_i={\sum }_{i=1}^m{\sigma }_{ij}$； σ即x协方差矩阵
• 第k个主成分$y_k$与变量$x_i$的相关系数称为因子 ${\lambda }_k$是$\rho (y_k,x_i)=\frac{({\lambda }_k{)}^{\frac{1}{2}}{\alpha }_{ik}}{({\sigma }_{ii}{)}^{\frac{1}{2}}}$
• 第k个主成分$y_k$与m个变量的因子负荷量满足${\sum }_{i=1}^m{\sigma }_{ii}{\rho }^2(y_k,x_i)={\lambda }_k$
• 第m个主成分与第i个变量x_i的因子负荷量满足${\sum }_{i=1}^m{\rho }^2(y_k,x_i)=1$
• x协方差矩阵的第k个特征值，${\alpha }_k$是对应的单位向量

3.2 x与y的充要条件
m维随机变量$y=(y_1,y_2,...,y_m{)}^T$的分量依次是x的第一主成分到第m主成分的充要条件是：

• $y=A^{T}x$,A为正交矩阵
• y的协方差矩阵为对角矩阵$cov(y)=diag({\lambda }_1,{\lambda }_2,...{\lambda }_m)$
• tips:不想关非对角线为0，对角线$var(y_k)={\lambda }_k$

3.3 主成分个数
主成分分析通常用于降维，一般选择k个主成分代替m个原有变量，使得问题简化（k<<m）

• 对任意正整数$q\le m$，考虑正交线性变换$y=B^{T}x$, $B^T$为q x m矩阵，使得y的协方差矩阵为${\sum }_y=B^T\sum B$，则y的协方差矩阵的迹$tr({\sum }_y)$在$B=A_q$时取得最大值，$A_q$由正交矩阵A的前q列组成（迹即特征值和，即主对角线元素和）；即当取A的前q列取x的前q个主成分时，能最大限度保留原有方差信息
• A后p列保存信息最少，此时迹最小
• 第k主成分$y_k$的方差贡献率定义为$y_k$的方差与所有方差之和的比${\eta }_k=\frac{{\lambda }_k}{\sum {\lambda }_i}$
• 定义k个主成分对原有变量$x_i$的贡献率帝国以为$x_i$与$(y_1,y_2,...,y_n)$的相关系数的平方$\rho (y_k,X{)}^2={\sum }_j\frac{({\lambda }_k){\alpha }_{ij}^2}{({\sigma }_{ii})}$

4. 规范化

为消除量纲影响，通常对各个随机变量实施规范化，使均值为0，方差为1.

• ${\sum }_{i=1}^m{\lambda }_i=m$；方差为1
• $\rho (y_k,x_i)=({\lambda }_k{)}^{\frac{1}{2}}{\alpha }_{ik}$

5. 算法

• 输入：m x n 样本矩阵X其每一行元素均值为0（规范化）
• 输出: k x n样本主成分矩阵Y
• 构造新矩阵：n x m矩阵：$X^{{}^{\prime }}=\frac{1}{(n-1{)}^{\frac{1}{2}}}{X}^T$
• 求截断奇异值分解，得到截断k列后$V^T$
• 得到$Y=V^{T}X$