主成分分析

主成分分析

总体主成分分析

定义和导出

$x$是$m$维的随机变量，其均值为$\mu$，协方差矩阵为$\Sigma$
考虑由m维随机变量x到m维随机变量y的线形变换：
$$y_i={\alpha }_i^{T}x=\sum _{k=1}^m{\alpha }_{ki}{x}_k,i=1,2,...,m$$
$${\alpha }_i^T=({\alpha }_{1i},{\alpha }_{2i},...,{\alpha }_{mi})$$
满足下面的条件:
$${\alpha }_i^T\alpha =1$$
$$cov(y_i,y_j)=0$$
$$\text{不相关且方差最大}$$

主要性质

$x$是$m$维的随机变量，其均值为$\mu$，协方差矩阵为$\Sigma$,$\Sigma$的特征值是${\lambda }_1>={\lambda }_1>=...>={\lambda }_m>$特征值对应的特征向量是${\alpha }_1,{\alpha }_2,...,{\alpha }_m$则x的第i个主成分可以写作是$y_i={\alpha }_i^{T}x={\sum }_{k=1}^m{\alpha }_{ki}{x}_k$,并且，x的第i个主成分的方差是协方差矩阵$\Sigma$的第i个特征值，即：
$$var(y_i)={\alpha }_i^T\Sigma {\alpha }_i={\lambda }_i$$
主成分有以下性质：
主成分y的协方差矩阵是对角矩阵
$$cov(y)=\bigwedge =diag({\lambda }_1,{\lambda }_2,...,{\lambda }_m)$$
主成分y的方差之和等于随机变量x的方差之和
$$\sum _{i=1}^m{\lambda }_i=\sum _{i=1}^m{\sigma }_{ii}$$
其中${\sigma }_{ii}$是$x_i$的方差
主成分$y_k$与变量x之间的相关系数$\rho (y_k,x_i)$称为因子负荷量，它表示第k个主成分 $y_k$与变量 $x_i$之间的相关关系，即 $y_k$$x_i$的贡献程度
$$\rho (y_k,x_i)=\frac{\sqrt{{\lambda }_k}{\alpha }_{ik}}{\sqrt{{\sigma }_{ii}}}$$

主成分的个数

规范化变量的总体主成分

量纲不一样，直接求会产生不合理的结果
$$x_i^{\ast }=\frac{x_i-E(x_i)}{\sqrt{var(x_i)}}$$

样本主成分分析

样本主成分分析就是基于样本协方差矩阵的主成分分析

样本主成分分析的定义与性质

给定样本矩阵：
$$X=[x_1,x_2,...,x_n]=\left[\begin{array}{c}{x}_{11},x_{12},...,x_{1n}\\ x_{21},x_{22},...,x_{2n}\\ ...,...,...,,...,\\ x_{11},x_{12},...,x_{1n}\end{array}\right]$$
其中$x_j=[x_{1j},x_{2j},...,x_{mj}{]}^T$是x的第j个独立观测样本。
x的协方差矩阵
$$S=[s_{ij}{]}_{mm},s_{ij}=\frac{1}{n-1}\sum _{k=1}^n(x_{ik}-\overline{x_i})(x_{jk}-\overline{x_j})$$
$$\overline{x_i}=\frac{1}{n}\sum _{k=1}^n{x}_{ik}$$

相关矩阵的特征值分解算法

针对每m * n的样本矩阵X，求样本相关矩阵
$$R=\frac{1}{n-1}X{X}^T$$
再求样本相关矩阵的k个特征值和对应的单位特征向量，构造正交矩阵：
$$V=(v_1,v_2,...,v_k)$$
V的每一列对应着一个主成分，得到k * n的样本主成分分析
$$Y=V^{T}X$$

数据矩阵的奇异值分解算法

针对每m * n的样本矩阵X:
$$X^{\prime }=\frac{1}{\sqrt{n-1}}{X}^T$$
对矩阵$X^{\prime }$进行截断奇异值分解，保留k个奇异值，奇异向量，得到：
$$X^{\prime }=US{V}^T$$
V的每一列对应着一个主成分，得到k * n 样本主成分分析矩阵Y
$$Y=V^{T}X$$