主成分分析(PCA)，概率主成分分析(PPCA)和因子分析(FA)的区别？

介绍

在PCA中，有一份样本为n，维度为d的数据$X\in {\mathbb{R}}^{n\times d}$，我们希望降维，于是：

$$X\approx Z{W}^T$$

而Probabilistic PCA则是假设

$$x\sim \mathcal{N}\left(Wz,{\sigma }^{2}I\right),z\sim \mathcal{N}(0,I)$$

当$\sigma \to 0$时，PPCA等价于PCA。
另外Factor analysis则是假设

$$x\sim \mathcal{N}(Wz,D),z\sim \mathcal{N}(0,I)$$

其中D是一个对角矩阵，他跟PPCA的区别就是x的每一个维度的方差都可以不一样，而PPCA中x每个维度的方差都是一样的${\sigma }^2$。不过好像很多人都没搞明白FA跟PCA的区别，这主要是因为很多软件，它写着方法是FA，但实际上给你运行的是PCA >_< 这都是这些软件的锅…

接下来将介绍PCA和PPCA的一些推导。

从PCA说起

我们知道PCA一般是用来降维的，如果有一份样本为n，维度为d的数据$X\in {\mathbb{R}}^{n\times d}$，那他是怎么实现的呢？其实是基于以下公式实现的：

$$X\approx Z{W}^T$$

其中$Z\in {\mathbb{R}}^{n\times k},W\in {\mathbb{R}}^{d\times k}$，只要我们能够找到一个k≪d的矩阵，使得X跟$Z{W}^T$尽可能接近就可以了。更具体的说，对于某个样本$x^{(i)}\in {\mathbb{R}}^{n\times 1}$,其近似方式为

$$x^{(i)}\approx W{z}^{(i)}$$

一般来说，我们只需要估计W的值，因为如果W已知的话，z是可以直接用x求出来的：

$$z^{(i)}=\arg \underset{z}{\min }\Vert x^{(i)}-Wz{\Vert }^2={\left(W^{T}W\right)}^{-1}{W}^T{x}^{(i)}$$

可以简单推导下：

$$\begin{array}{rl}& \frac{\partial }{\partial z}{\left(x^{(i)}-Wz\right)}^T\left(x^{(i)}-Wz\right)\\ =& -2W^T\left(x^{(i)}-Wz\right)\\ =& -2\left(W^T{x}^{(i)}-W^{T}Wz\right)\\ =& 0\\ ⟹& z={\left(W^{T}W\right)}^{-1}{W}^T{x}^{(i)}\end{array}$$

我们通常假设W是正交矩阵，于是$W^{T}W=I$,从而$z=W^T{x}^{(i)}$；从这条式子可以看出，z的每一个维度是由一列一列的w，然后将x加权平均得到的。又因为这个W是不唯一的，他的旋转的是等价的，因此为了保证唯一性，我们通常会通过逐列求解W来保证唯一性。那么如何逐列求解呢？

为了求解方便，假设X是经过标准化的样本矩阵（这将意味着$X^{T}X=\Sigma$）。首先整体来看就是找到W使得重构误差最小，也称为(synthesis view):

$$\underset{W\in {\mathbb{R}}^{d\times k},Z\in {\mathbb{R}}^{n\times k}}{\mathrm{argmin}}{\Vert X-Z{W}^T\Vert }_F^2=\sum _{j=1}^d\sum _{i=1}^n{\left(x_j^{(i)}-w_j^T{z}^{(i)}\right)}^2$$

其中$\Vert \mathbf{A}{\Vert }_F=\sqrt{\sum _{i=1}^m\sum _{j=1}^n{a}_{ij}^2}=\sqrt{\mathrm{tr}\left({\mathbf{A}}^T\mathbf{A}\right)}$。但是或许大家听得最多的是所谓的最大化方差，接下来将证明是等价的
考虑求解第一列${\mathbf{w}}_1\in R^{d\times 1}$，则对于第i个样本它对应着$z_1^{(i)}=(x^{(i)}{)}^T{\mathbf{w}}_1$(这个是一个标量)，其loss函数为：
$$\begin{array}{rl}\min J({\mathbf{w}}_1,z_1)& =\frac{1}{N}\sum _{i=1}^N{\Vert {\mathbf{x}}^{(i)}-{\mathbf{w}}_1{z}_1^{(i)}\Vert }^2\\ & =\frac{1}{N}\sum _{i=1}^N{\left({\mathbf{x}}^{(i)}-{\mathbf{w}}_1{z}_1^{(i)}\right)}^T\left({\mathbf{x}}^{(i)}-{\mathbf{w}}_1{z}_1^{(i)}\right)\\ & =\frac{1}{N}\sum _{i=1}^N({\mathbf{x}}^{(i)}{)}^T{\mathbf{x}}^{(i)}-2({\mathbf{x}}^{(i)}{)}^T{\mathbf{w}}_1{z}_1^{(i)}+z_1^{(i)}{\mathbf{w}}_1^T{\mathbf{w}}_1{z}_1^{(i)}\\ & =\frac{1}{N}\sum _{i=1}^N\underset{const}{\underbrace{({\mathbf{x}}^{(i)}{)}^T{\mathbf{x}}^{(i)}}}-2(z_1^{(i)}{)}^2+(z_1^{(i)}{)}^2\\ & =const-\underset{Var({\mathbf{z}}_1)}{\underbrace{\frac{1}{N}\sum _{i=1}^N(z_1^{(i)}{)}^2}}\end{array}$$

可以看到，推到最后其实就是在最大化方差，那么如果求解呢？我们把w和x代回去：

$$\max J({\mathbf{w}}_1)=\frac{1}{N}\sum _{i=1}^N(z_1^{(i)}{)}^2=\frac{1}{N}\sum _{i=1}^N{\mathbf{w}}_1^T{x}^{(i)}(x^{(i)}{)}^T{\mathbf{w}}_1={\mathbf{w}}_1^T\hat{\Sigma }{\mathbf{w}}_1$$

其中$\hat{\Sigma }=\frac{1}{N}\sum _{i=1}^N{x}^{(i)}(x^{(i)}{)}^T=\frac{1}{N}\left\{\begin{array}{ccc}{\sum }_i^N(x_1^{(i)}{)}^2& \cdots & {\sum }_i^N{x}_1^{(i)}{x}_d^{(i)}\\ ⋮& \ddots & ⋮\\ {\sum }_i^N{x}_d^{(i)}{x}_1^{(i)}& \cdots & {\sum }_i^N(x_d^{(i)}{)}^2\end{array}\right\}$，是经验协方差矩阵(注意到这是个很多个外积的求和)。然而要最大化，显然最简单的是将w设得无穷大，所以为了限制这一天，我们要加个约束$\Vert {\mathbf{w}}_1\Vert =1$，于是

$$\tilde{J}({\mathbf{w}}_1)={\mathbf{w}}_1^T\hat{\mathbf{\Sigma }}{\mathbf{w}}_1+{\lambda }_1\left({\mathbf{w}}_1^T{\mathbf{w}}_1-1\right)$$

对其求导：

$$\begin{array}{rl}\frac{\partial }{\partial {\mathbf{w}}_1}\tilde{J}({\mathbf{w}}_1)& =2\hat{\mathbf{\Sigma }}{\mathbf{w}}_1-2{\lambda }_1{\mathbf{w}}_1=0\\ \hat{\mathbf{\Sigma }}{\mathbf{w}}_1& ={\lambda }_1{\mathbf{w}}_1\end{array}$$

最终我们发现${\mathbf{w}}_1$恰好是$\hat{\mathbf{\Sigma }}$的特征向量，所以我们求PCA的时候，直接求协方差的特征向量就把w给求出来了。接下来的求${\mathbf{w}}_2$也是类似的，考虑

$$J({\mathbf{w}}_1,{\mathbf{z}}_1,{\mathbf{w}}_2,{\mathbf{z}}_2)=\frac{1}{N}\sum _{i=1}^N{\Vert {\mathbf{x}}^{(i)}-z_1^{(i)}{\mathbf{w}}_1-z_2^{(i)}{\mathbf{w}}_2\Vert }^2=const-{\mathbf{w}}_2^T\hat{\Sigma }{\mathbf{w}}_2$$

这里因为${\mathbf{w}}_1$是已知的，所以被当做常数项了。又因为，${\mathbf{w}}_1^T{\mathbf{w}}_2=0,{\mathbf{w}}_2^T{\mathbf{w}}_2=1$

$$\tilde{J}({\mathbf{w}}_2)=-{\mathbf{w}}_2^T\hat{\mathbf{\Sigma }}{\mathbf{w}}_2+{\lambda }_2\left({\mathbf{w}}_2^T{\mathbf{w}}_2-1\right)+{\lambda }_{12}\left({\mathbf{w}}_2^T{\mathbf{w}}_1-0\right)$$

最后求导可以得到$\hat{\mathbf{\Sigma }}{\mathbf{w}}_2={\lambda }_1{\mathbf{w}}_2$，是第二个特征向量，如此类推。

Probabilistic PCA

在PCA中我们假设

$$X\approx Wz$$

而在PPCA中我们假设

$$x\sim \mathcal{N}\left(Wz,{\sigma }^{2}I\right),z\sim \mathcal{N}(0,I)$$

显然当$\sigma \to 0$的时候，PPCA与PCA是等价的。根据上述假设，可以知道他们的分布为：

$$p(x|z,W)\propto \exp \left(-\frac{(x-Wz{)}^T(x-Wz)}{2{\sigma }^2}\right),p(z)\propto \exp \left(-\frac{z^{T}z}{2}\right).$$

其实PPCA的框架是很灵活的，完全可以假设p(x|z)是laplace分布(Robust PCA)，或者如果x是离散就是softmax之类的(Latent Discrete Analysis)。这里先假设高斯的，那我们可以简单推导下x和z的联合分布$p(x,z|W)$，这个需要用到高斯求条件概率的公式。不过这里，就简单推推

$$\begin{array}{rl}p(x,z|W)& =p(x|z,W)p(z|W)\\ & =p(x|z,W)p(z)\text{ (assuming }z\perp W)\\ & \propto \exp \left(-\frac{(x-Wz{)}^T(x-Wz)}{2{\sigma }^2}-\frac{z^{T}z}{2}\right)\\ & =\exp \left(-\frac{x^{T}x-x^{T}Wz-z^T{W}^{T}x+z^T{W}^{T}Wz}{2{\sigma }^2}+\frac{z^{T}z}{2}\right)\\ & =\exp \left(-\frac{1}{2}\left(x^T\left(\frac{1}{{\sigma }^2}I\right)x+x^T\left(\frac{1}{{\sigma }^2}W\right)z+z^T\left(\frac{1}{{\sigma }^2}{W}^T\right)x+z^T\left(\frac{1}{{\sigma }^2}{W}^{T}W+I\right)z\right)\right)\\ & \propto \exp \left(-\frac{1}{2}\left[z^T{x}^T\right]\left[\begin{array}{cc}\frac{1}{{\sigma }^2}{W}^{T}W+I& -\frac{1}{{\sigma }^2}{W}^T\\ -\frac{1}{{\sigma }^2}W& \frac{1}{{\sigma }^2}I\end{array}\right]\left[\begin{array}{l}z\\ x\end{array}\right]\right)\end{array}$$

参考文献

CPSC 540: Machine Learning Probabilistic PCA and Factor Analysis

Murphy K. Machine Learning: a Probabilistic Perspective. The MIT Press, 2012.