EM算法及其推广

EM是一种迭代算法，用于 含有隐含量的 概率模型的 极大似然估计，或 极大后验概率估计。EM算法的每次迭代由两步组成: E步求期望；M步求极大。所以这一算法称为期望极大算法，简称EM算法。

EM算法的引入

概率模型有时既含有观测变量，又含有隐变量或潜在变量。当模型含有隐变量时，就不能简单地使用这些估计方法。EM 算法就是含有隐变量的概率模型参数的估计似然估计法。
将观测数据表示为 Y = { Y 1 , Y 2 , . . . , Y n } Y=\lbrace Y_1,Y_2,...,Y_n \rbrace Y={Y1​,Y2​,...,Yn​},未观测数据表示为$Z=(Z_1,Z_2,...,Z_n{)}^T$,则观测数据的似然函数为$$P(Y|\theta )=\sum _{Z}P(Z|\theta )P(Y|Z,\theta )$$考虑求模型参数$\theta =(\pi ,p,q)$的极大似然估计，即$$\hat{\theta }=\underset{\theta }{\mathrm{argmax}}logP(Y|\theta )$$这个问题没有解析解，只能通过迭代的方法求解。EM算法就是可以用于求解这个问题的一种迭代算法。
算法如下：
输入：观测变量数据$Y$,隐变量数据$Z$,联合分布$P(Y,Z|\theta )$，条件分布$P(Z|Y,\theta )$
输出：模型参数$\theta$

1. 选择参数初值$\theta (0)$,开始迭代
2. E步：记$\theta (i)$为第$i$次迭代参数$\theta$的估计值，在第$i+1$次迭代的E步，计算$$Q(\theta ,{\theta }^{(i)})=E_Z[logP(Y,Z|\theta )|Y,{\theta }^{(i)}]=\sum _{Z}logP(Y,Z|\theta )P(Z|Y,{\theta }^{(i)})$$这里，$P(Z|Y,{\theta }^{(i)})$是在给定观测数据$Y$和当前的参数估计${\theta }^{(i)}$下隐变量数据$Z$的条件概率分布
3. M步：求使$Q(\theta ,{\theta }^{(i)})$极大化的$\theta$，确定第$i+1$次迭代的参数的估计值${\theta }^{(i+1)}$$${\theta }^{(i+1)}=\underset{\theta }{\mathrm{argmax}}Q(\theta ,{\theta }^{(i)})$$
4. 重复第2步和第3步，直到收敛。