混合高斯模型_EM算法求解高斯混合模型(GMM)

单维的高斯模型：

求解一维的高斯模型参数时，我们可以使用最大似然法，其对数似然函数的表达式(log-likelyhood)如下：

对均值和方差求偏导可以求的高斯分布中的

在混合高斯模型中，

记

其对数似然函数如下：

对数函数中有加法，求导数方式很难求得参数

。

因此我们引入隐变量

，并且使用迭代的方式来求参数

。

隐变量

，表示第i个数据属于哪一个高斯分布。

EM的迭代公式如下：

这里的

是上一次迭代得到的参数，是一个常数， 只有

是优化的变量 ，记其中的积分式为

(本文暂时不证明该公式的收敛性)

现在来定义混合高斯模型中的

和

:

将上面两个表达是带入到EM算法公式里去，限制考虑积分里的式子，也就是E-step：

只考虑求和符号中

的那一部分：

再考虑所有的

的情况：

因为

,所以：

交换求和符号顺序

将

改为

此时再对

三个参数求导。

:

:

最后得到的结果为：