Gaussian Mixture Model：混合高斯模型介绍

最近看一些计算机视觉和图形学类的文章，经常发现一个被称为Gaussian mixture model(GMM)的技术，应用在图像图形处理的算法中。出于好奇，我最近阅读了GMM的文献[1]。基于该文献，我将在这篇博客介绍一下GMM的一些核心思想以及比较成功的应用。

1. 简介

GMM是一个参数概率密度函数，由加权的分块高斯密度累加和表示。GMM通常被用来表示一个概率密度分布的参数模型，以提供建立特征度量。GMM的参数由训练数据获得，通过迭代计算Expectation-Maximization(EM,最大期望)算法或Maximum A Posteriori estimation(MAP,最大后验估计)算法来实现训练。

这里我们给出GMM的数学模型：

x是一个D维的连续向量，在应用中可以被看做度量或者特征；M表示分块的数量，wi表示对应M的权重； 表示分块高斯密度。每一个分块的密度是一个D个变量的高斯函数：

 为平均向量，为协方差矩阵， 混合权重满足：。这里给出参数形式,  对应不同的分块M: 

这里的协方差矩阵可以是满秩的，或者限制在主对角线上。另外，参数能够被共享或者绑定在不同的分块，取决于不同的应用需求。这里以语音识别为例，来说明GMM的拟合能力：

如上图所示，第一行为一段自然的语音输入。这段语音不可避免的会受到一些噪声的影响，但是整体分布是平滑的。使用单峰值峰Gaussian模型，显然，会造成严重的信息损失。vector quantize (VQ) 提供的是离散拟合。GMM相对来说更像是二者结合，结果会更加准确。

2. 实例

这里使用一个比较容易理解的实例来理解GMM的使用场景，即图像分割。我们以文献[2]为例，来说明GMM在图像中是如何实现像素级的聚类以及分割的。

这里用一个模型来说明：

I(x,y)表示一个图像中在像素(x,y)的颜色, P表示为基于像素颜色的概率判定，对于不同的分块，或者不同的，都会对应一个概率结果。相关参数还会根据区域进行重新估计：

这两步就共同组成了EM方法解GMM的E-step和M-step。感觉上就是根据该模型进行迭代计算，就能得到最终面向所有像素的概率分布。那么根据这个概率分布，对应的图像分割结果就能够被同时获得。在文献[2]中为了做后续的应用，做了一些调整，但是整体上还是按照上述思路来做。下图展示一个分割的结果。 

 可以看到，图像中相对应的元素被聚类，实现比较清晰的分割结果。

3. 总结

GMM是一个拟合能力不错的概率预测工具，能够对数据集的分布进行基于度量的统计分析，并得到一个基于概率的计算结果。该工具可以用于识别，分割，聚类等工作，具有很好的扩展性。 

Reference

[1] Reynolds D A. Gaussian mixture models[J]. Encyclopedia of biometrics, 2009, 741(659-663).

[2] Tai Y W, Jia J, Tang C K. Local color transfer via probabilistic segmentation by expectation-maximization[C] CVPR, 2005, 1: 747-754.