CS229课程笔记13：Factor Analysis简介

Ng将FA作为EM算法隐变量是连续变量的例子进行介绍，讲了很多公式推导的过程；笔者仅介绍其原理以及构造。

---

若我们假设数据是高斯分布$N(\mu,\Sigma)$，利用最大似然法（maximum likelihood）得到的估计值为

$$\hat \mu = \frac 1 m \sum_{i=1}^mx_i\\ \hat\Sigma=\frac 1 m \sum_{i=1}^m(x_i-\hat\mu)(x_i-\hat\mu)^T$$
其中 $x_i\in R^n$， $m$为样本数量。

当$m<<n$或者 $m\simeq n$时， $\hat\Sigma$大概率是奇异的，即行列式为0且不存在逆元。若直接进行估计得到的估计值无法用于求取 $x$的概率分布。根本原因是模型复杂度过高，样本数过少。解决方式可以是加强假设，降低模型复杂度。例如我们可以加入$\Sigma$是对角阵的假设，利用最大似然法可以很容易求得

$$\hat \mu_j = \frac 1 m \sum_{i=1}^mx_{ij}\\ \hat\sigma_j=\frac 1 m \sum_{i=1}^m(x_{ij}-\hat\mu_j)^2$$
其中 $j=1\cdots n$。更强的假设是 $\Sigma=\sigma^2I$，当然也可以通过最大似然法求解。

上诉两个假设直接假设了所有predictor之间是无关的，这通常不符合实际情况，所以上诉两个假设实际使用并不广泛，效果不佳。Factor Analysis (FA)的假设相对较弱，相对前两种模型效果有所提升；但仍然依赖于高斯分布的假设，并不流行。目前最常用的成分分析的方法有ICA以及其各种变形。

Factor Analysis的假设

假设变量$x$是隐变量$z$的近似线性组合$x=\mu+\Lambda z+\epsilon$，其中$\mu\in R^n$是$x$的偏移量，$\epsilon\in R^n$用于拟合线性组合之外的偏差，$z\in R^d$是位于低维空间空间中的隐变量（$d<n$或$d\sim \sqrt n$），$\Lambda_{n\times d}$是$z$到$x$的线性变换。

上诉是成分分析中常见的线性假设，Factor Analysis进一步假设$z\sim N(0,I)$，以及$\epsilon\sim N(0,\Psi)$，这也是FA基于高斯分布假设的由来。

Ng之后就开始分析高斯分布的性质，然后利用EM算法对FA进行求解。这里仅稍微讨论一下上诉假设的一些小推论。

$$x\sim N(\mu,\Lambda\Lambda^T+\Psi)\\ x|z\sim N(\mu+\Lambda z,\Psi)$$
值得注意的是FA的假设使得FA的 $\Lambda$有无穷解，因为 $z\sim N(0,I)$各维对称，所以可以任意变换该低维空间的基而不影响结果。具体地，任意orthonormal的方阵 $R$满足$R^TR=I$，有 $x=\mu+\Lambda R^TRz+\epsilon$；令 $\Lambda'=\Lambda R^T$， $z'=Rz$，则有 $E(z') = 0$， $Var(z')=E(z'z'^T)=E(RR^T)=I$（因为 $R$是方阵，基于逆元的性质），从而$x=\mu+\Lambda'z'+\epsilon$，且 $z'\sim N(0,I)$。