Factor Analysis

这应该是学ML以来推导过的最痛苦的算法了，所以我想先用直观的语言描述什么是Factor analysis。

因子分析(factor analysis)是一种数据简化的技术。它通过研究众多变量之间的内部依赖 关系，探求观测数据中的基本结构，并用少数几个假想变量来表示其基本的数据结构。这几 个假想变量能够反映原来众多变量的主要信息。原始的变量是可观测的显在变量，而假想变量是不可观测的潜在变量，称为因子。

由于存在隐变量，同时不能由MLE得到close form，因此很自然的想到了之前提到的EM算法。本文主要用EM算法推到因子分析的参数估计过程。

问题

之前我们考虑的训练数据中样例x (?) 的个数 m 都远远大于其特征个数 n，这样不管是 行回归、聚类等都没有太大的问题。然而当训练样例个数 m 太小，甚至 m<<n 的时候，使 用梯度下降法进行回归时，如果初值不同，得到的参数结果会有很大偏差（因为方程数小于 参数个数）。另外，如果使用多元高斯分布(Multivariate Gaussian distribution)对数据进行拟合 时，也会有问题。

例如，多元高斯分布的参数估计如下：
$$\begin{array}{c}\mu =\frac{1}{m}{\sum }_{i=1}^m{x}^{(i)}\\ \Sigma =\frac{1}{m}{\sum }_{i=1}^m\left(x^{(i)}-\mu \right){\left(x^{(i)}-\mu \right)}^T\end{array}$$
分别是求 mean 和协方差的公式，x 是 n 维向量，$\Sigma$是 n*n 协方差矩阵。

当 m<<n 时，我们会发现$\Sigma$是奇异阵（ |$\Sigma$| = 0），也就是说${\Sigma }^{-1}$ 不存在，没办法拟合出多元高斯分布了，确切的说是我们估计不出来$\Sigma$。

因此，我们可以对$\Sigma$进行限制，从而使得其可逆。最简单的想法就是使得$\Sigma$变为对角矩阵，但这样有很大的坏处

：这样的假设意味着特征间相互独立，表示在图上就是contour的各个维度与坐标轴平行。

Preliminary

首先不加证明的给出几个结论

1. 设$x=\left[\begin{array}{l}{x}_1\\ x_2\end{array}\right]$，$x\sim \mathcal{N}(\mu ,\Sigma )$，其中$\mu =\left[\begin{array}{c}{\mu }_1\\ {\mu }_2\end{array}\right],\Sigma =[\begin{array}{cc}{\Sigma }_{11}& {\Sigma }^{}\\ {\Sigma }_{21}& \end{array}$