ASR 混合高斯模型GMM的理解

混合高斯模型（GMM）是使用非常广泛的统计模型，一种非常高调的说法是，混合高斯模型能拟合一切数据。虽然实际还是受到很多限制，比如混合高斯分布数量需要确定等等，不难看出其强大指出。此文包含以下内容：

• GMM模型
• EM算法

GMM模型

1.1 简单理解GMM

首先讲一讲什么是高斯分布。在自然界数据中有个奇怪的现象：数据量满足一定量后，其统计分布呈现钟型。前人由此分析得到高斯分布。高斯分布的主要参数是数据的平均值$\mu$和方差${\sigma }^2$，记作$N(\mu ,{\sigma }^2)$。

从字面上理解，GMM脱胎于高斯分布，简单来说，它是多个高斯分布的混合。GMM的基本思想是，使用多个高斯分布拟合任意曲线。相比高斯分布，GMM引入另一个参数${\pi }_k$，对应第$k$个高斯分布的系数值，所以混合高斯分布可记作
$$GMM=\sum _{k=1}^N{\pi }_k\cdot N(\mu ,{\sigma }^2)$$
其中，${\pi }_k$是数据指向第k个高斯分布的概率。GMM思想主要体现在聚类算法上：聚类算法将数据归类到最大可能的几个集合中，形成几个类。通常，也称这种功能性明显的变量为（隐\潜变量），可理解为数据的隐藏性质。借此，GMM也能用于实现聚类。

GMM模型在处理数据时，先把数据丢到单独一个高斯分布中，接着就是简单的高斯分布问题。假设一组数据符合GMM，那么只需要估计GMM模型三个参数就好。常用的基础算法是EM算法。EM算法的好处是，它特别适合应对隐变量存在时的参数估计，但是需要提前设定好隐变量的数量。

1.2 图解GMM模型

按照之前的叙述，GMM模型是几个高斯分布的组合，示意图如下：
如果把GMM模型的估计分为两步，第一步估计${\pi }_k$得到数据指向模型的概率，第二部估计第k组高斯分布的参数${\mu }_k$和${\sigma }_k^2$，显然第一步是最关键也最为难以理解的部分，即，如何得到数据属于某个高斯分布的概率？

记数据指向第k个模型为事件${\gamma }_k$，其集合序列为$\gamma =[{\gamma }_1,...,{\gamma }_k]$。于是，数据x指向第k个模型的概率为，$P(x|{\gamma }_k=1)={\pi }_k$。当已知某个数据指向哪个高斯分布，即$\gamma$已知，则数据的概率就是高斯分布概率，有
$${\pi }_k=P(x|{\gamma }_k=k)=N(x|{\mu }_k,{\sigma }_k^2)$$
数据可能出现在每个高斯分布上，于是数据的实际概率为
$$P(x)=\sum _{k=1}^N{\pi }_{k}N(x|{\mu }_k,{\sigma }_k^2)$$
当观察时间序列$X=[x_1,....,x_T]$已知的时候，首要完成的任务是估计模型参数$(\pi ,\mu ,\Sigma )$，记$\Sigma ={\sigma }_k^2$。使用对数似然估计方法，X的联合概率表示为：
$L(x_1,...,x_{}$