PCA与SVD

PCA与SVD

公众号：ChallengeHub(机器学习，NLP，推荐系统，数据分析)
(欢迎大家关注)

PCA介绍和基本思想

​ 主成分分析(PCA)是一种利用正交变换把由线性相关变量表示的观测数据转化为少数几个由线性无关变量表示的数据。

​ 在主成分分析中，首先对给定的数据进行规范化，使得数据的每一变量的平均值为0，方差为1。之后对数据进行正交变换，原来由线性相关变量表示的数据，通过正交变换变成若干个线性无关的新变量表示的数据，新变量是可能的正交变换中变量的方差最大的，方差表示在新变量上信息的大小，将变量依次成为第一主成分，第二主成分。

PCA的相关定义

总体主成分分析的定义：

1 系数向量${\alpha }_i^{\top }$是单位向量，即${\alpha }_i^{\top }{\alpha }_i=1$

2 变量$y_i,y_j$不相关，协方差等于0

3 变量$y_1$是$x$所有的线性变换中方差最大的，$y_2$是与$y_1$不相关的$x$的所有线性变换中方差最大的。

主成分分析的求法

假设 $X=x_1,x_2,...x_m$是$m$维随机变量，$\sum$是$x$协方差矩阵的，$\sum$的特征值为${\lambda }_1\ge {\lambda }_2\ge ...\ge {\lambda }_m\ge 0$，特征值对应的单位向量分别是${\alpha }_1,{\alpha }_2,...{\alpha }_m$。

则$x$的第$k$主成分是：
$$y_k={\alpha }_k^{\top }x={\alpha }_{1k}{x}_1+{\alpha }_{2k}{x}_2+...+{\alpha }_{mk}{x}_m$$
则$x$的第$k$主成分的方差是：
$$var(y_k)=E[(y_k-E(y_k){)}^2]=E[({\alpha }_k^{\top }x-{\alpha }_k^{\top }u{)}^2]$$
其中$u=E(x)$,上式子为：$var(y_k)=E[({\alpha }_k^{\top }(x-u){)}^2]=E[{\alpha }_k^{\top }(x-u{)}^2{\alpha }_k]$

因此：$var(y_k)={\alpha }_k^{\top }\sum {\alpha }_k={\lambda }_k$

SVD介绍和基本思想

奇异值分解是一种矩阵因子分解方法，任何一个矩阵都可以表示为三个矩阵的乘积形式，分别是$m$阶正交矩阵，由降序排列的非负的对角线元素组成的$m\ast n$矩形对角阵和$n$阶正交举证。

SVD的基本定理和形式

若$A$为一$m\ast n$的实矩阵，$A\in R^{m\ast n}$，则$A$的奇异分解存在：
$$A=U\sum V^{\top }$$
其中$U$是$m\ast m$阶正交矩阵，V是n阶正交矩阵，$\sum$为$m\ast n$阶对角矩阵，其对角元素非负。

假设矩阵$A$的秩为$r$，则矩阵$A^{\top }A$的矩阵也为$r$，由于$A^{\top }A$矩阵为对称矩阵，因此，它的特征值均大于等于0，它的秩等于大于0的特征值的个数。

​ ${\lambda }_1\ge {\lambda }_2\ge ...\ge {\lambda }_r>0$

​ ${\lambda }_{r+1}={\lambda }_{r+2}...{\lambda }_n=0$

令：
$${\sigma }_i=\sqrt{{\lambda }_i}$$
可以计算相应的特征向量为：
$$V_1=[v_1,v_2,..v_r]$$

$$V_2=[v_{r+1},v_{r+2},...v_n]$$

可以构建正交矩阵：
$$V=[V_1,V_2]$$
将${\sigma }_i$排序构建一个$m\ast n$的矩阵对角矩阵$\sum$。其中可以用${\sigma }_1,...{\sigma }_r$构建一个$r\ast r$的对角矩阵${\sum }_1$，该矩阵处于矩阵$\sum$的左上角。

接下来构建实正交矩阵$U$。

令：
$$u_j=\frac{1}{{\sigma }_j}A{v}_j,j=1,2,3...r$$
令：

​ $A{V}_1=U_1{\sum }_1$

通过这种方式得到的$u_1,u_2,...u_r$是正交的，然后计算与$U_1$正交的其它基向量$U_2$,
$$U_2=[u_{r+1},u_{r+2},...u_n]$$
$U=[U_1,U_2]$。

最后可以证明下$A=U\sum V^T$
KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲\begin{split} …

SVD拓展

上文给定的奇异分解为完全奇异分解，实际上我们经常用到的是紧凑奇异分解或者截断奇异分解。紧凑奇异分解就是上文中的

​ $A=U_1{\sum }_1{V}_1^{\top }$

截断奇异分级就是当$A^{\top }A$不为0的特征值由$r$个时，并不会选取所以的特征值与特征向量，只选取前$k$个特征值，则此时：

​ $A\approx U_k{\sum }_k{V}_k^{\top }$

奇异分解是一种无损的压缩，但是截断奇异分解以为有有损压缩。

SVD和PCA的关系

结论，可以用求SVD的方法来求PCA。

假设$X$是已经中心化之后的数据矩阵，每一列都是一个样本，那么协方差矩阵为$\frac{1}{n}X{X}^{\top }$。主成分分析的目标函数是通过$W$投影使得方差最大化。

令$X=U\sum V^{\top }$，则可以得到$X{X}^{\top }=U{\sum }^2{U}^{\top }$。因此我们可以知道此时的$U$就是我们所需要的$W$，$W=U$。

$Y=W^{\top }X$就是我们常用的降维方法，可得$Y=W^{\top }X=U^{\top }U\sum V^{\top }=\sum V^{\top }$,又因为有$X^{\top }X=V{\sum }^2{V}^{\top }$,所以只需要对矩阵$X^{T}X$进行分解得到向量$V,\sum$就可以得到$Y$。因此分解协方差矩阵和内积矩阵均可以求解PCA。