python实现em聚类算法_Python实现EM算法实例代码

EM算法实例

通过实例可以快速了解EM算法的基本思想，具体推导请点文末链接。图a是让我们预热的，图b是EM算法的实例。

这是一个抛硬币的例子，H表示正面向上，T表示反面向上，参数θ表示正面朝上的概率。硬币有两个，A和B，硬币是有偏的。本次实验总共做了5组，每组随机选一个硬币，连续抛10次。如果知道每次抛的是哪个硬币，那么计算参数θ就非常简单了，如

下图所示：

如果不知道每次抛的是哪个硬币呢？那么，我们就需要用EM算法，基本步骤为：

1、给θ_AθA​和θ_BθB​一个初始值；

2、(E-step)估计每组实验是硬币A的概率(本组实验是硬币B的概率=1-本组实验是硬币A的概率)。分别计算每组实验中，选择A硬币且正面朝上次数的期望值，选择B硬币且正面朝上次数的期望值；

3、(M-step)利用第三步求得的期望值重新计算θ_AθA​和θ_BθB​；

4、当迭代到一定次数，或者算法收敛到一定精度，结束算法，否则，回到第2步。

计算过程详解：初始值θ_A^{(0)}θA(0)​=0.6,θ_B^{(0)}θB(0)​=0.5。

由两个硬币的初始值0.6和0.5，容易得出投掷出5正5反的概率是p_A=C^5_{10}*(0.6^5)*(0.4^5)pA​=C105​∗(0.65)∗(0.45)，p_B=C_{10}^5*