混合高斯模型_高斯混合模型(Mixture of Gaussians)

EM算法一个很重要的应用就是可以应用于高斯混合模型. (算是给周一的考试压个题hhh)

假设我们的完全数据为

并有着如下的分布：

和

在这里

是缺失数据并且

.

对于单个观测

的完全对数密度函数为：

而对于完全对数似然函数如下：

在EM算法的E步中（这里只有

是随机项），条件期望如下：

下面我们可以利用EM算法求解这个问题了。

对于

的估计，这里有个小trick，就是需要用到拉格朗日乘子法。我们知道

则

由上式可以求出,

这里

由如下方式求解：

更进一步得

则有

类似得有

则有

综上我们就得到了以下得参数迭代更新方程：

至此，高斯混合模型的EM算法推导全部完成！

这里

.