1. 一些英文简称
iid :independently and identically distribute
EM :Expectation Maximization
2. EM算法
首先来明确一下我们的目标:我们的目标是在观察变量X和给定观察样本的情况下,极大化对数似然函数:
其中只包含观察变量(Observed Variable)的概率密度函数
其中Z为隐藏随机变量,是Z的所有可能取值。那么,
其中,。
上列不等式是有Jensen不等式得来的。它取等号的条件是:需要让随机变量变成常数值,这里得到:
那么:
那么一般的EM算法的步骤如下:
期望最大化算法收敛性:
参考资料
EM算法原理(作者:Rachel-Zhang,浙大CS在读)