EM算法1-感性地理解EM算法(2)

在感性地理解EM算法1中介绍了一个很普遍的例子讲解EM算法，同时将理论公式具体化，那么下来再讲解一个相对较难的例子，出自李航老师的统计学方法中EM算法的第一个例子，和上一个讲解的方式比较一致：

题目为：

首先给出一个假设，为了和书上的结果保持一致，我们也假设：
${\pi }_0$=$p_0$=$q_0$=0.5

首先明确此时的隐变量z，z=1表示硬币A是正面，z=0表示硬币A是反面，先明确我们希望最大化的目标：

E步，明确我们想要求解的下届函数Q(${\theta }_0$),也就是要求P(z|Y,${\theta }_0$),${\theta }_0$={$p_0$,$q_0$}根据贝叶斯：

此处带入这个具体的例子有，假设观测值Y={$y_0$，$y_1$，…$y_9$}共十次观测值：

由于此时${\pi }_0$=$p_0$=$q_0$=0.5，所以有
同理有：P(z=0|$y_i$,${\theta }_0$)=P(z=1|$y_i$,${\theta }_0$)=0.5

然后到了M步：
此时的下届函数Q($\theta$,${\theta }_0$)为：

然后求可以使得此时的Q($\theta$,${\theta }_0$)最大的$\theta$值：分别对$\pi$，$p$ 和$q$求导：

所以有${\pi }_1$=0.5，$p_1$=$q_1$=0.6

如果按照纯理论的方式推到一遍有：
E步：

M步：

然后分别对$\pi$，$p$ 和$q$求导：

所以有：