浅谈混合因子分析——A Brief Discussion about Mixture of Factor Analysis (MFA)

混合因子分析（MFA），或曰概率主成分分析（PPCA），在数据科学中是一种有效的数据降维方法。但是其用途不啻于此。本文从实用的角度简单介绍下混合因子分析的基本原理。

因子分析概述

基本原理

主成分分析（PCA）是一种常用的线性降维技术，因子分析（Factor Analysis, FA）是其更一般形式。这里不讨论PCA的相关细节。FA的提出基于下述线性高斯隐变量生成模型：
$$\begin{array}{rl}p(z)& =\mathcal{N}(z|{\mu }_0,{\Sigma }_0)\\ p(x|z,\theta )& =\mathcal{N}(x|Wz+\mu ,\Psi )\end{array}$$ 其中 $W\in {\mathbb{R}}^{D\times L}$被称为factor loading矩阵。FA可被看作是一种低阶的高斯分布。

如上图，$x\in {\mathbb{R}}^D,D=2$ 是2维变量，但是，我们可以用$z\in {\mathbb{R}}^L,L=1$这个1维变量将其生成。这便是FA的基本原理。该思路应用于机器人运动规划领域十分有价值，因为很多时候维度与自由度并不相同，换一个视角就可以将高维度的运动轨迹用低自由度的机器人实现。

话不多说，给定上述公式，我们可以计算可观变量（visible/observable variable）$x$的边缘概率分布为： $$p(x|\theta )=\int p(x|z,\theta )p(z)\mathrm{d}z=\mathcal{N}(x|W{\mu }_0+\mu ,W{\Sigma }_0{W}^{\top }+\Psi )$$
不失一般性，假定 ${\mu }_0=0,{\Sigma }_0=I$，那么可得到： $$p(x|\theta )=\mathcal{N}(\mu ,W{W}^{\top }+\Psi )$$ 定义：
$$C=\mathrm{C}\mathrm{o}\mathrm{v}[x]=W{W}^{\top }+\Psi$$ 其中 $\Psi$ 是对角矩阵，该假设十分关键。对于可观变量 $x$ 的每个维度，其方差为
$$\mathrm{V}[x]=\sum _{k=1}^L{w}_{dk}^2+{\psi }_d$$ 可以看出，该表达式包含一个通用因子和一个uniqueness ${\psi }_d$。基于上述假设，容易得到可观变量与隐变量的联合分布为：
$$\left[\begin{array}{c}x\\ z\end{array}\right]\sim \mathcal{N}\left(\left[\begin{array}{c}\mu \\ 0\end{array}\right],\left[\begin{array}{cc}W{W}^{\top }+\Psi & W\\ W^{\top }& I\end{array}\right]\right)$$

利用高斯分布的贝叶斯法则，我们可知：
$$p(z|x)=\mathcal{N}\left(z\right|W^{\top }C$$