第九讲：因子分析（Factor analysis）

如果有一个多个高斯模型混合（a mixture of several Gaussians）而来的数据集 $x^{(i)}\in R^n$ ，那么就可以用期望最大化算法（EM algorithm）来对这个混合模型（mixture model）进行拟合。这种情况下，对于有充足数据（sufficient data）的问题，我们通常假设可以从数据中识别出多个高斯模型结构（multiple-Gaussian structure）。例如，如果我们的训练样本集合规模（training set size） m 远远大于（significantly larger than）数据的维度（dimension） n，就符合这种情况。
然后来考虑一下反过来的情况，也就是 n 远远大于 m，即 n ≫ m。在这样的问题中，就可能用单独一个高斯模型来对数据建模都很难，更不用说多个高斯模型的混合模型了。由于 m 个数据点所张开（span）的只是一个 n 维空间 $R^n$ 的低维度子空间（low-dimensional subspace），如果用高斯模型（Gaussian）对数据进行建模，然后还是用常规的最大似然估计（usual maximum likelihood estimators）来估计（estimate）平均值（mean）和方差（covariance），得到的则是：

$$\begin{array}{rl}\mu & =\frac{1}{m}\sum _{i=1}^m{x}^{(i)}\\ \Sigma & =\frac{1}{m}\sum _{i=1}^m(x^{(i)}-\mu )(x^{(i)}-\mu {)}^T,\end{array}$$

我们会发现这里的 $\Sigma$ 是一个奇异（singular）矩阵。这也就意味着其逆矩阵 ${\Sigma }^{-1}$ 不存在，而 $1/|\Sigma {|}^{1/2}=1/0$。 但这几个变量都还是需要的，要用来计算一个多元高斯分布（multivariate Gaussian distribution）的常规密度函数（usual density）。还可以用另外一种方法来讲述清楚这个难题，也就是对参数（parameters）的最大似然估计（maximum likelihood estimates）会产生一个高斯分布（Gaussian），其概率分布在由样本数据¹所张成的仿射空间（affine space）中，对应着一个奇异的协方差矩阵（singular covariance matrix）。

通常情况下，除非 m 比 n 大出相当多（some reasonable amount），否则最大似然估计（maximum likelihood estimates）得到的均值（mean）和方差（covariance）都会很差（quite poor）。尽管如此，我们还是希望能用已有的数据，拟合出一个合理（reasonable）的高斯模型（Gaussian model），而且还希望能识别出数据中的某些有意义的协方差结构（covariance structure）。那这可怎么办呢？

在接下来的这一部分内容里，我们首先回顾一下对 $\Sigma$ 的两个可能的约束（possible restrictions），这两个约束条件能让我们使用小规模数据来拟合 $\Sigma$，但都不能就我们的问题给出让人满意的解（satisfactory solution）。然后接下来我们要讨论一下高斯模型的一些特点，这些后面会用得上，具体来说也就是如何找到高斯模型的边界和条件分布。最后，我们会讲一下因子分析模型（factor analysis model），以及对应的期望最大化算法（EM algorithm）。

1 $\Sigma$ 的约束条件（Restriction）

如果我们没有充足的数据来拟合一个完整的协方差矩阵（covariance matrix），就可以对矩阵空间 $\Sigma$ 给出某些约束条件（restrictions）。例如，我们可以选择去拟合一个对角（diagonal）的协方差矩阵 $\Sigma$。这样，读者很容易就能验证这样的一个协方差矩阵的最大似然估计（maximum likelihood estimate）可以由对角矩阵（diagonal matrix） $\Sigma$ 满足：

$$\begin{array}{r}{\Sigma }_{jj}=\frac{1}{m}\sum _{i=1}^m(x_j^{(i)}-{\mu }_j{)}^2.\end{array}$$

因此，${\Sigma }_{jj}$ 就是对数据中第 j 个坐标位置的方差值的经验估计（empirical estimate）。

回忆一下，高斯模型的密度的形状是椭圆形的。对角线矩阵 $\Sigma$ 对应的就是椭圆长轴（major axes）对齐（axis- aligned）的高斯模型。

有时候，我们还要对这个协方差矩阵（covariance matrix）给出进一步的约束，不仅设为对角的（major axes），还要求所有对角元素（diagonal entries）都相等。这时候，就有 $\Sigma ={\sigma }^{2}I$，其中 ${\sigma }^2$ 是我们控制的参数。对这个 ${\sigma }^2$ 的最大似然估计则为：

$$\begin{array}{r}{\sigma }^2=\frac{1}{mn}\sum _{j=1}^n\sum _{i=1}^m(x_j^{(i)}-{\mu }_j{)}^2.\end{array}$$

这种模型对应的是密度函数为圆形轮廓的高斯模型（在二维空间也就是平面中是圆形，在更高维度当中就是球（spheres）或者超球体（hyperspheres））。

如果我们对数据要拟合一个完整的，不受约束的（unconstrained）协方差矩阵 $\Sigma$，就必须满足 $m\ge n+1$，这样才使得对 $\Sigma$ 的最大似然估计不是奇异矩阵（singular matrix）。在上面提到的两个约束条件之下，只要 $m\ge 2$，我们就能获得非奇异的（non-singular） $\Sigma$。

然而，将 $\Sigma$ 限定为对角矩阵，也就意味着对数据中不同坐标（coordinates）的 $x_i$，$x_j$建模都将是不相关的（uncorrelated），且互相独立（independent）。通常，还是从样本数据里面获得某些有趣的相关信息结构比较好。如果使用上面对 $\Sigma$ 的某一种约束，就可能没办法获取这些信息了。在本章讲义里面，我们会提到因子分析模型（factor analysis model），这个模型使用的参数比对角矩阵 $\Sigma$ 更多，而且能从数据中获得某些相关性信息（captures some correlations），但也不能对完整的协方差矩阵（full covariance matrix）进行拟合。

2 多重高斯模型（Gaussians ）的边界（Marginal）和条件（Conditional）

在讲解因子分析（factor analysis）之前，我们要先说一下一个联合多元高斯分布（joint multivariate Gaussian distribution）下的随机变量（random variables）的条件（conditional）和边界（marginal）分布（distributions）。

假如我们有一个值为向量的随机变量（vector-valued random variable）：

$$\begin{array}{r}x=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]\end{array}$$

其中 $x_1\in R^r$, $x_2\in R^s$，因此 $x\in R^{r+s}$。设 $x\sim N(\mu ,\Sigma )$, 即以 $\mu$ 和 $\Sigma$ 为参数的正态分布，则这两个参数为：

$$\begin{array}{r}\mu =\left[\begin{array}{c}{\mu }_1\\ {\mu }_2\end{array}\right],\Sigma =\left[\begin{array}{cc}{\Sigma }_{11}& {\Sigma }_{12}\\ {\Sigma }_{21}& {\Sigma }_{22}\end{array}\right].\end{array}$$

其中， ${\mu }_1\in R^r$, ${\mu }_2\in R^s$, ${\Sigma }_{11}\in R^{r\times r}$, ${\Sigma }_{12}\in R^{r\times s}$，以此类推。由于协方差矩阵（covariance matrices）是对称的（symmetric），所以有 ${\Sigma }_{12}={\Sigma }_{21}^T$.

基于我们的假设，$x_1$ 和 $x_2$ 是联合多元高斯分布(jointly multivariate Gaussian)。 那么 $x_1$ 的边界分布是什么？不难看出 $x_1$ 的期望 $E[x_1]=\mu 1$ ，而协方差 $Cov(x_1)=E[(x_1-{\mu }_1)(x_1-{\mu }_1)]={\Sigma }_{11}$ 。接下来为了验证后面这一项成立，要用 $x_1$ 和 $x_2$的联合方差的概念：

$$\begin{array}{rl}Cov(x)& =\Sigma \\ & =\left[\begin{array}{cc}{\Sigma }_{11}& {\Sigma }_{12}\\ {\Sigma }_{21}& {\Sigma }_{22}\end{array}\right]\\ & =E[(x-\mu )(x-\mu {)}^T]\\ & =E\left[\begin{array}{c}\left(\genfrac{}{}{0ex}{}{x_1-{\mu }_1}{x_1-{\mu }_1}\right){\left(\genfrac{}{}{0ex}{}{x_1-{\mu }_1}{x_1-{\mu }_1}\right)}^T\end{array}\right]\\ & =E[\begin{array}{c}(x_1-{\mu }_1)(x_1-{\mu }_1{)}^T\\ \end{array}\end{array}$$