高斯混合模型GMM与EM算法的Python实现

GMM与EM算法的Python实现

高斯混合模型(GMM)是一种常用的聚类模型，通常我们利用最大期望算法(EM)对高斯混合模型中的参数进行估计。

---

1. 高斯混合模型(Gaussian Mixture models, GMM)

高斯混合模型（Gaussian Mixture Model，GMM）是一种软聚类模型。 GMM也可以看作是K-means的推广，因为GMM不仅是考虑到了数据分布的均值，也考虑到了协方差。和K-means一样，我们需要提前确定簇的个数。

GMM的基本假设为数据是由几个不同的高斯分布的随机变量组合而成。如下图，我们就是用三个二维高斯分布生成的数据集。

在高斯混合模型中，我们需要估计每一个高斯分布的均值与方差。从最大似然估计的角度来说，给定某个有n个样本的数据集X，假如已知GMM中一共有k 簇，我们就是要找到k组均值μ₁,⋯,μ_k，k组方差σ₁,⋯,σ_k 来最大化以下似然函数L

这里直接计算似然函数比较困难，于是我们引入隐变量(latent variable)，这里的隐变量就是每个样本属于每一簇的概率。假设W是一个n×k的矩阵，其中 W_i,j 是第 i 个样本属于第 j 簇的概率。

在已知W的情况下，我们就很容易计算似然函数L_W，

将其写成

其中P(X_i | μ_j, σ_j) 是样本X_i在第j个高斯分布中的概率密度函数。

以一维高斯分布为例，

2. 最大期望算法(Expectation–Maximization, EM)

有了隐变量还不够，我们还需要一个算法来找到最佳的W，从而得到GMM的模型参数。EM算法就是这样一个算法。

简单说来，EM算法分两个步骤。

• 第一个步骤是E（期望），用来更新隐变量WW；
• 第二个步骤是M（最大化），用来更新GMM中各高斯分布的参量μ_j, σ_j。

然后重复进行以上两个步骤，直到达到迭代终止条件。

3. 具体步骤以及Python实现

完整代码在第4节。

首先，我们先引用一些我们需要用到的库和函数。

1 import numpy as np
2 import matplotlib.pyplot as plt