GMM与EM算法的Python实现

GMM与EM算法的Python实现

高斯混合模型(GMM)是一种常用的聚类模型，通常我们利用最大期望算法(EM)对高斯混合模型中的参数进行估计。

本教程中，我们自己动手一步步实现高斯混合模型。完整代码在第4节。

预计学习用时：30分钟。

本教程基于Python 3.6。

原创者：u_u | 修改校对：SofaSofa TeamM |

---

1. 高斯混合模型(Gaussian Mixture models, GMM)

高斯混合模型（Gaussian Mixture Model，GMM）是一种软聚类模型。
GMM也可以看作是K-means的推广，因为GMM不仅是考虑到了数据分布的均值，也考虑到了协方差。和K-means一样，我们需要提前确定簇的个数。

GMM的基本假设为数据是由几个不同的高斯分布的随机变量组合而成。如下图，我们就是用三个二维高斯分布生成的数据集。

在高斯混合模型中，我们需要估计每一个高斯分布的均值与方差。从最大似然估计的角度来说，给定某个有$n$个样本的数据集$X$，假如已知GMM中一共有$k$簇，我们就是要找到$k$组均值${\mu }_1,\cdots ,{\mu }_k$，$k$组方差${\sigma }_1,\cdots ,{\sigma }_k$来最大化以下似然函数$\mathcal{L}$
$$\mathcal{L}(({\mu }_1,\cdots ,{\mu }_k),({\sigma }_1,\cdots ,{\sigma }_k);X).$$

这里直接计算似然函数比较困难，于是我们引入隐变量(latent variable)，这里的隐变量就是每个样本属于每一簇的概率。假设$W$是一个$n\times k$的矩阵，其中$W_{i,j}$是第$i$个样本属于第$j$簇的概率。

在已知$W$的情况下，我们就很容易计算似然函数${\mathcal{L}}_W$，

$${\mathcal{L}}_W(({\mu }_1,\cdots ,{\mu }_k),({\sigma }_1,\cdots ,{\sigma }_k);X),$$
将其写成

$${\mathcal{L}}_W=\prod _{i=1}^n\left(\sum _{j=1}^k{W}_{i,j}P(X_i|{\mu }_j,{\sigma }_j)\right)$$

其中 P ( X i ∣ μ j , σ j ) P(X_i | \mu_j, \sigma_j) P(Xi​∣μ