“EM（Expectation Maximization）算法”初探

（1）最大似然估计

先看看高教版《概率论与数理统计》关于“最大似然估计”的介绍：

接下来看看文章“What is the expectation maximization algorithm?”一文中给出的关于最大似然估计的例子，如下图所示。

为什么利用“最大似然估计”计算出来的硬币A正面朝上的概率是0.8、硬币B正面朝上的概率为0.45呢？

假设硬币A正面朝上的概率为，则关于硬币A的实验，即第2、3、5次实验结果的概率分别为：

第2、3、5次实验结果同时发生的概率为：

根据“最大似然估计”，的最大似然估计值应满足上式取得最大值。将上式对求导，并令其等于0可得：

在Matlab中画个曲线，如下所示，结合上面的数学分析，很明显可以得出。同理可以得出的最大似然估计值。

（2）EM算法

文章“What is the expectation maximization algorithm?”一文给出了EM算法的迭代过程，如下图所示。

step 1：对和进行初始化，即、。

step 2：以第一次实验结果为例，结果为，根据“条件概率”的计算，可以得到该硬币为A的概率为：

该硬币为B的概率为0.55。对第二到五次实验进行同样的分析。

step 3：根据第一部分的“最大似然估计”计算方法，可以得到、。

重复上述过程，经过10次循环，结果为：、。

而且，随着重复次数的增加，和将收敛，这个收敛的值就是EM计算的结果。

 

参考文献：

1）概率论与数理统计/盛骤，谢式千，潘承毅编. -4版. 北京：高等教育出版社，2008.6

2）What is the expectation maximization algorithm?. Chuong B Do & Serafim Batzoglou. NATURE BIOTECHNOLOGY. VOLUME 26 NUMBER 8 AUGUST 2008