EM算法的原理以及推广参考《统计学习方法》

EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计
首先引入：三硬币模型
假设有三枚硬币，分别记作$A,B,C$。这些硬币正面出现的概率分别为$\pi ,p,q$。首先抛$A$硬币，根据其结果选择抛$B,C$硬币。正面选$B$，反面选$C$，然后记录最终硬币出现的结果。观测结果如下：
$$1,1,0,1,0,0,1,0,1,1$$
只能观测到硬币投掷的结果，不能观测到过程。问如何估计三枚硬币正面出现的概率。
三硬币模型可以写成：
$$P(y|\theta )=\pi p^y(1-p{)}^{1-y}+(1-\pi )q^y(1-q{)}^{1-y}$$
采用极大似然估计，似然函数为：
$$P(Y|\theta )=\prod _{j=1}^n[\pi p^{y_j}(1-p{)}^{1-y_j}+(1-\pi )q^{y_j}(1-q{)}^{1-y_j}]$$
最终需要求的是：
$$\hat{\theta }=\underset{\theta }{\mathrm{argmax}}\log P(Y|\theta )$$
此问题没有解析解，因此需要采取迭代的方法求解。

EM算法
首先给定初值${\theta }^{(0)}=({\pi }^{(0)},p^{(0)},q^{(0)})$，然后不断计算，直至收敛为止。已知第$i$次的参数估计值为 θ ( i ) = ( π ( i ) , p ( i ) , q ( i