斯坦福大学机器学习——因子分析（Factor analysis）

一、问题的提出

在EM算法求解高斯混合模型一文中，我们的样本集 ，而样本的数量m远大于样本的维度n，因此，可以轻易的构造出高斯混合模型。

现在，我们再看下不同的情况：假如，或，我们将很难构建一个普通高斯模型，更别提高斯混合模型。这m个的数据仅仅是 的子空间，如果我们用这m个数据建立高斯模型，并对利用极大似然，对期望和方差进行参数估计。可得：

我们将发现协方差为奇异矩阵，即：，这样的话和也都不存在，而这两者是多元正态分布概率密度函数的必要参数。因子分析将解决上述问题：

二、对的约束

假如我们没有足够的数据去对参数进行估计，可以通过对加以限制来解决。例如：假设协方差矩阵为对角阵，那么，很容易通过极大似然估计求出其值：

这里表示矩阵第j行j列的元素值。

如果对其进行进一步的约束，不仅为对角阵，而且对角线上所有元素均相等，即，那么对其进行极大似然估计得：

如果需要通过极大似然估计，构造一个非奇异、无约束条件的协方差矩阵，需要满足。如果满足上面的两个约束条件，那么仅仅需要满足。但构造对角阵意味着数据集相互独立，没有关联。因此下文会从高斯分布的边缘分布和条件分布开始，引入因子分析模型，该模型使用更多的参数以描述数据间的关联，并且不需要构造一个非奇异的矩阵。

三、高斯分布的边缘分布和条件分布

假设有多维随机变量：

其中：。

再令，并且：

，

其中：逆对角元素存相互对称 。

根据协方差的定义，我们可以得到：

随机变量的边际分布为；若在给定的前提下，的条件分布为，其中：

下面介绍因子分析模型时会用到上述性质。

四、因子分析模型（factor analysis model）

在因子分析模型中，我们首先假设一个联合分布，其中：为隐随机变量。并且有：

其中：，并且为对角阵，。

上述假设可以解释为：每个点都是由k维正态随机变量生成。首先，通过由k维映射到n维，然后，再将协方差为的随机噪声加入。

其等价于：

其中，和z相互独立。

假如随机变量z和x的联合高斯分布可以写成如下形式：

我们将求出其期望和协方差。

由于，因此，。

那么：

由上文可知：

下面对其分别求解：

因此，随机变量z和x的联合高斯分布为：

随机变量x的边际分布为，因此，给定的训练集，我们就可以得出其对数的似然方程：

为了得到最大似然估计，需要对似然方程求最大值。然而，求解该方程的最大值极其困难，因此我们可以采用EM算法对极大似然函数进行求解。

五、EM算法求解因子分析

条件概率，根据第二三节的结论可以推出：

根据EM算法的定义可知，E-step为：

M-step需要最大化：

这里的下标是指以为随机变量，为密度函数的期望。

我们忽略与带估计参数无关的项，实际就是求下式的最大值：

下面我们分别求出待估参数：

（1） 
为求出上式关于的偏导，可将上式整理，去除与无关项，可得等价式：

上式第2行至第3行根据trAB=trBA, 第3行至第4行根据。
令上式为0，可得：

解得：

根据对的定义，为，因此可得：

将上述两式结果带入可得：

（2）
将M步的公式对求偏导，可得：

 

（3）

再令，即可得到的值。

六、总结

当样本由混合高斯模型得来，并且样本的数量m小于样本的维度n时，由于协方差矩阵为奇异的，因此无法直接通过极大似然进行参数估计。因子分析模型通过引入隐随机变量和随机噪声，构造样本与隐随机变量的联合分布，该联合分布的协方差矩阵为非奇异的。然后再利用EM算法进行参数估计，建立模型。