高斯混合模型(GMM Gaussian Mixture Model)

高斯混合模型是一种业界广泛使用的聚类算法，该方法使用了高斯分布作为参数模型，并使用了期望最大算法（EM）进行训练。

什么是高斯分布

高斯分布有时也被称作正态分布，是一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面都有着重大的影响。

若随机变量X服从一个数学期望为$\mu$、标准方差为${\sigma }^2$的高斯分布，记作：
$XN(\mu ,{\sigma }^2)$
则其概率密度函数为：


公式中含有2个参数，参数$\mu$表示均值，参数$\sigma$表示标准差，均值决定了其位置，标准差决定了分布的幅度。

有了概率密度函数，在已知参数$\mu ，\sigma$的前提下，输入变量x，可以获得其相对应的概率密度。

高斯混合模型

定义：高斯混合模型是指具有如下形式的概率分布模型：
$P(y|\theta )=\sum _{k=1}^K{\alpha }_k\phi (y|{\theta }_k)$ (1)

其中，${\alpha }_k$是系数，且${\alpha }_k\ge 0，\sum _{k=1}^K{\alpha }_k=1$;$\phi (y|{\theta }_k)$是高斯分布密度函数，其中${\theta }_k=({\mu }_k，{\sigma }_k)$

$\phi (y|{\theta }_k)=\frac{1}{\sqrt{2\pi }{\sigma }_k}exp(-\frac{(y-{\mu }_k{)}^2}{2{\sigma }_k^2})$ (2)

称为第k个分模型。
一般混合模型可以由任意概率分布密度函数代替2中的高斯密度函数，现在只介绍最常用的高斯混合模型。

高斯混合模型参数估计的EM算法

假设观测数据$y_1,y_2\dots \dots y_N$由高斯混合模型生成，
$P(y|\theta )=\sum _{k=1}^K{\alpha }_k\phi (y|{\theta }_k)$

其中$\theta =({\alpha }_1,{\alpha }_2\dots {\alpha }_K；{\theta }_1,{\theta }_2\dots {\theta }_K)$，我们用EM算法估计高斯混合模型的参数$\theta$

1明确隐变量，写出完全数据的对数似然函数

可以设想观测数据$y_j$,j=1,2……N，是这样产生的：
1）首先依概率${\alpha }_k$选择第k个高斯分布分模型 φ ( y