小案例：解释 期望最大算法

Python与算法社区

已有441篇原创，干货满满

值得星标

01

02

03

三步加星标

你好，我是 zhenguo

今天解释EM算法使用一个小案例，解释 EM 算法：E步和M步

论文题目：

What is the expectation maximization algorithm?

这是论文中的图：

下面解释这些数字是如何得来的。

Step1 纯碎靠猜

假定硬币A正面朝上的概率为 0.6, 硬币B正面朝上的概率为 0.5

Step2 做实验

开展 5 轮实验，每轮抛掷 10 次，全部实验结果如下所示：

下面依次分析每轮实验结果。

第一轮结果：5次朝上，5次朝下。如果选择硬币A，则发生此结果的概率为：Pa = 0.6^5*0.4^5; 如果选择硬币B，概率为：Pb = 0.5^5*0.5^5; 则选择硬币A的概率为：Za = Pa/(Pa+Pb) ，选择硬币B的概率为：Zb = 1- Za.

计算一下：

Pa = 0.6**5*0.4**5
Pb = 0.5**5*0.5**5
Za = Pa/(Pa+Pb)
Zb = 1- Za

结果：

In [11]: Za
Out[11]: 0.44914892610093643

In [12]: Zb
Out[12]: 0.5508510738990635

四舍五入，即 0.45, 0.55。分别就是选择硬币 A 和硬币 B 的概率。

选择硬币 A 的概率为 0.45，抛掷硬币 10 次，正反出现的总次数期望值为：0.45 * 10，即 4.5 次。第一轮实验结果：5正5反，所以正面出现次数的期望值为：4.5 * (5/10)，即为 2.25 次，反面出现 2.25 次；

同理分析硬币B。选择硬币 B 的概率为 0.55，抛掷硬币 10 次，正反出现的总次数期望值为：0.55 * 10，即 5.5 次。第一轮实验结果：5正5反，所以正面出现次数的期望值为：5.5 * (5/10)，即为 2.75 次，反面出现 2.75 次；

同理分别求出第二轮到第五轮实验，选择硬币 A 的概率及对应的正反面出现次数的期望值，选择硬币 B 的概率及对应的正反面出现次数的期望值。

第一轮到第五轮实验全部分析完成后，得到如下结果，左侧表格为选择硬币A和B的概率分布（也就是隐变量的概率分布）；右侧表格为硬币A和B在10次抛掷实验中正、反出现次数的期望分布（也就是可观察变量的概率分布）。

Step3 似然估计

纵观 5 轮 总结 50 次抛掷硬币，可以计算出硬币 A 、B 正面出现的概率。

硬币 A 正面出现次数：

2.2 + 7.2 + 5.9 + 1.4 + 4.5 = 21.2

硬币 A 反面出现次数：

2.2 + 0.8 + 1.5 + 2.1 + 1.9 = 8.5

同理求得硬币 B

得到论文图中的结果(小数点位数精度，稍有偏差，不碍事，理解就行)

至此又得到一个硬币A、B 正面出现概率的估计值，这次是基于实验得到，而不是像刚开始那样纯碎靠蒙（纯碎靠蒙时为 0.6, 0.5）。

完成一次分布参数的迭代。

Step4 迭代10次

10 轮迭代后，参数更新为如下，对应论文中的 Step4

---

要想系统掌握机器学习相关算法，推荐复旦大学 邱老师的下面这本书，微信备注：nndl

不必打赏

给我点个赞

就心满意足了