缺失数据em算法python_EM算法之Python

转载之：https://zhuanlan.zhihu.com/p/31345125

示例一：二硬币模型

假设现在有两个硬币A和B，我们想要知道两枚硬币各自为正面的概率啊即模型的参数。我们先随机从A,B中选一枚硬币，然后扔10次并记录下相应的结果，H代表正面T代表反面。对以上的步骤重复进行5次。如果在记录的过程中我们记录下来每次是哪一枚硬币(即知道每次选的是A还是B)，那可以直接根据结果进行估计(见下图a)。

不含隐变量的参数求解问题

但是如果数据中没记录每次投掷的硬币是A还是B(隐变量)，只观测到5次循环共50次投币的结果，这时就没法直接估计A和B的正面概率。这时就该轮到EM算法大显身手了，EM算法特别适用于这种含有隐变量的参数求解问题(见下图b)。

含有隐变量的参数求解

先初始化输入参数，如上图1步给了一个初始值0.6(A硬币正面的概率)，0.5(B硬币正面的概率)。接下来先进行E步(对隐变量求期望)，如上图2步：以第一条数据为例，5H5T，为A的概率为