EM算法 实例讲解

转自：http://blog.csdn.net/u011300443/article/details/46763743

参考：http://www.cnblogs.com/zhangchaoyang/articles/2623364.html

http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html

参考了多篇文章进行EM算法的学习，这篇文章还是非常简单易懂的。推荐给大家。

 

       第一次接触EM算法，是在完成半隐马尔科夫算法大作业时。我先在网上下载了两份Baum-Welch算法的代码，通过复制粘贴，修修补补，用java实现了HMM算法（应用是韦小宝掷两种骰子的问题）。然后，参考有关半隐马尔科夫算法的论文，照着论文中的公式修改隐马尔科夫算法，完成了大作业。现在回想起来，就隐隐约约记得有一大堆公式。最近，我看到一篇很好的文章，对EM算法的计算有了进一步的了解，文章链接为http://159.226.251.229/videoplayer/em_tutorial.pdf?ich_u_r_i=5f2169937c008ed6744dff42d8b2ab80&ich_s_t_a_r_t=0&ich_e_n_d=0&ich_k_e_y=1545078905750963492497&ich_t_y_p_e=1&ich_d_i_s_k_i_d=5&ich_u_n_i_t=1

       文章中有个例子，能让人快速了解EM算法的使用方法，下图是例子的示意图，图b是EM算法的实例，图a是让我们预热的。

                     

       这是一个抛硬币的例子，H表示正面向上，T表示反面向上，参数θ表示正面朝上的概率。硬币有两个，A和B，硬币是有偏的。本次实验总共做了5组，每组随机选一个硬币，连续抛10次。如果知道每次抛的是哪个硬币，那么计算参数θ就非常简单了，如上图所示。

       如果不知道每次抛的是哪个硬币呢？那么，我们就需要用EM算法，基本步骤为：1、给θA和θB一个初始值；2、（E-step）估计每组实验是硬币A的概率（本组实验是硬币B的概率=1-本组实验是硬币A的概率）。分别计算每组实验中，选择A硬币且正面朝上次数的期望值，选择B硬币且正面朝上次数的期望值；3、（M-step）利用第三步求得的期望值重新计算θA和θB；4、当迭代到一定次数，或者算法收敛到一定精度，结束算法，否则，回到第2步。

        稍微解释一下上图的计算过程。初始值θA=0.6,θB=0.5。

        图中的0.45是怎么得来的呢？由两个硬币的初始值0.6和0.5，容易得出投掷出5正5反的概率是pA=C(10,5)*(0.6^5)*(0.4^5)，pB=C(10,5)*(0.5^5)*(0.5^5),  pA/(pA+pB)=0.449,  0.45就是0.449近似而来的，表示第一组实验选择的硬币是A的概率为0.45。图中的2.2H，2.2T是怎么得来的呢？  0.449 * 5H = 2.2H ，0.449 * 5T = 2.2T ，表示第一组实验选择A硬币且正面朝上次数的期望值是2.2。其他的值依次类推。