EM算法

1.概念

概率模型有时候会包含隐含变量，当包含隐含变量时，不能简单地使用极大似然估计直接求解，这时候就需要用到EM算法。EM算法是一种从含有隐含变量的数据中求解极大似然估计的方法。
对数似然函数为：

其中，$Z^{(i)}$是隐含变量的值。

2.求解

为了求解上述对数似然函数，引入隐含变量Z的分布$Q_i$
$Q_i$满足的条件为：

这样，上述对数似然函数变成：

这个公式的求解用到了Json不等式，如下：
如果