高斯混合模型（GMM）及其EM算法的理解

一个例子

高斯混合模型（Gaussian Mixed Model）指的是多个高斯分布函数的线性组合，理论上GMM可以拟合出任意类型的分布，通常用于解决同一集合下的数据包含多个不同的分布的情况（或者是同一类分布但参数不一样，或者是不同类型的分布，比如正态分布和伯努利分布）。

如图1，图中的点在我们看来明显分成两个聚类。这两个聚类中的点分别通过两个不同的正态分布随机生成而来。但是如果没有GMM，那么只能用一个的二维高斯分布来描述图1中的数据。图1中的椭圆即为二倍标准差的正态分布椭圆。这显然不太合理，毕竟肉眼一看就觉得应该把它们分成两类。

图1

这时候就可以使用GMM了！如图2，数据在平面上的空间分布和图1一样，这时使用两个二维高斯分布来描述图2中的数据，分别记为$\mathcal{N}({\mathbf{\mu }}_1,{\mathbf{\Sigma }}_1)$和$\mathcal{N}({\mathbf{\mu }}_2,{\mathbf{\Sigma }}_2)$. 图中的两个椭圆分别是这两个高斯分布的二倍标准差椭圆。可以看到使用两个二维高斯分布来描述图中的数据显然更合理。实际上图中的两个聚类的中的点是通过两个不同的正态分布随机生成而来。如果将两个二维高斯分布$\mathcal{N}({\mathbf{\mu }}_1,{\mathbf{\Sigma }}_1)$和$\mathcal{N}({\mathbf{\mu }}_2,{\mathbf{\Sigma }}_2)$合成一个二维的分布，那么就可以用合成后的分布来描述图2中的所有点。最直观的方法就是对这两个二维高斯分布做线性组合，用线性组合后的分布来描述整个集合中的数据。这就是高斯混合模型（GMM）。

图2

高斯混合模型（GMM）

设有随机变量$\mathbf{X}$，则混合高斯模型可以用下式表示：
$$p(\mathbf{x})=\sum _{k=1}^K{\pi }_k\mathcal{N}(\mathbf{x}|{\mathbf{\mu }}_k,{\mathbf{\Sigma }}_k)$$

其中$\mathcal{N}(\mathbf{x}|{\mathbf{\mu }}_k,{\mathbf{\Sigma }}_k)$称为混合模型中的第$k$个分量（component）。如前面图2中的例子，有两个聚类，可以用两个二维高斯分布来表示，那么分量数$K=2$. ${\pi }_k$是混合系数（mixture coefficient），且满足：
$$\sum _{k=1}^K{\pi }_k=1$$
$$0\le {\pi }_k\le 1$$

实际上，可以认为${\pi }_k$就是每个分量$\mathcal{N}(\mathbf{x}|{\mathbf{\mu }}_k,{\mathbf{\Sigma }}_k)$的权重。

GMM的应用

GMM常用于聚类。如果要从 GMM 的分布中随机地取一个点的话，实际上可以分为两步：首先随机地在这 K 个 Component 之中选一个，每个 Component 被选中的概率实际上就是它的系数${\pi }_k$ ，选中 Component 之后，再单独地考虑从这个 Component 的分布中选取一个点就可以了──这里已经回到了普通的 Gaussian 分布，转化为已知的问题。

将GMM用于聚类时，假设数据服从混合高斯分布（Mixture Gaussian Distribution），那么只要根据数据推出 GMM 的概率分布来就可以了；然后 GMM 的 K 个 Component 实际上对应$K$个 cluster 。根据数据来推算概率密度通常被称作 density estimation 。特别地，当我已知（或假定）概率密度函数的形式，而要估计其中的参数的过程被称作『参数估计』。

例如图2的例子，很明显有两个聚类，可以定义$K=2$. 那么对应的GMM形式如下：
$$p(\mathbf{x})={\pi }_1\mathcal{N}(\mathbf{x}|{\mathbf{\mu }}_1,{\mathbf{\Sigma }}_1)+{\pi }_2\mathcal{N}(\mathbf{x}|{\mathbf{\mu }}_2,{\mathbf{\Sigma }}_2)$$

上式中未知的参数有六个：$({\pi }_1,{\mathbf{\mu }}_1,{\mathbf{\Sigma }}_1;{\pi }_2,{\mathbf{\mu }}_2,{\mathbf{\Sigma }}_2)$. 之前提到GMM聚类时分为两步，第一步是随机地在这$K$个分量中选一个，每个分量被选中的概率即为混合系数${\pi }_k$. 可以设定${\pi }_1={\pi }_2=0.5$，表示每个分量被选中的概率是0.5，即从中抽出一个点，这个点属于第一类的概率和第二类的概率各占一半。但实际应用中事先指定${\pi }_k$的值是很笨的做法，当问题一般化后，会出现一个问题：当从图2中的集合随机选取一个点，怎么知道这个点是来自$N(\mathbf{x}|{\mathbf{\mu }}_1,{\mathbf{\Sigma }}_1)$还是$N(\mathbf{x}|{\mathbf{\mu }}_2,{\mathbf{\Sigma }}_2)$呢？换言之怎么根据数据自动确定${\pi }_1$和${\pi }_2$的值？这就是GMM参数估计的问题。要解决这个问题，可以使用EM算法。通过EM算法，我们可以迭代计算出GMM中的参数：$({\pi }_k,{\mathbf{x}}_k,{\mathbf{\Sigma }}_k)$.

GMM参数估计过程

GMM的贝叶斯理解

在介绍GMM参数估计之前，先改写GMM的形式，改写之后的GMM模型可以方便地使用EM估计参数。GMM的原始形式如下：

$$p(\mathbf{x})=\sum _{k=1}^K{\pi }_k\mathcal{N}(\mathbf{x}|{\mathbf{\mu }}_k,{\mathbf{\Sigma }}_k)\text{\hspace{1em}(1)}$$

前面提到${\pi }_k$可以看成是第$k$类被选中的概率。我们引入一个新的$K$维随机变量$\mathbf{z}$. $z_k(1\le k\le K)$只能取0或1两个值；$z_k=1$表示第$k$类被选中的概率，即：$p(z_k=1)={\pi }_k$；如果$z_k=0$表示第$k$类没有被选中的概率。更数学化一点，$z_k$要满足以下两个条件：
z k ∈ { 0 , 1 } z_k \in \{0,1\} zk​∈{ 0,1}
∑ K z k = 1 \su