EM算法：期望最大化算法

EM算法：期望最大化算法

MLE（极大似然估计法）是一种非常有效的参数估计方法，但在概率模型中，有时既含有观测变量 (observable variable), 又含有隐变量(hidden variable)或潜在变量(latent variable)，例如：分布中有多余参数或数据为截尾或缺失时，这个时候使用MLE求解是比较困难的。于是Dempster等人于1977年提出了EM算法，其出发点是把求MLE的过程分两步走，第一步是求期望，以便把多余的部分去掉，第二步是求极大值。

我们给定数据和参数:
$x:\text{observed data}$
$z:\text{unobserved data },$ 也就是隐变量
$\left(x,z\right):\text{complete data}$
$\theta :\text{parameter}$

EM 算法对这个问题的解决方法是采用迭代的方法，这里直接给出最终的公式
$${\theta }^{t+1}=\underset{\theta }{\mathrm{argmax}}{\int }_{z}p(z|x,{\theta }^t)\log p(x,z|\theta )dz=\underset{\theta }{\mathrm{argmax}}{\mathbb{E}}_{z|x,{\theta }^t}[\log p(x,z|\theta )]$$

后面再说明这个式子是从何得来的。

这个公式包含了迭代的两步：
E step：计算 $\log p(x,z|\theta )$ 在概率分布 $p(z|x,{\theta }^t)$ 下的期望
M step：计算使这个期望最大化的参数得到下一个 EM 步骤的输入

对于上述算法求解过程，似然函数在每一步迭代的过程中都是在增大的，除非已经达到最大值，证明如下。

求证：$\log p(x|{\theta }^t)\le \log p(x|{\theta }^{t+1})$

证明：
我们知道
$$\log p(x|\theta )=\log p(z,x|\theta )-\log p(z|x,\theta )$$在$p(z|x,{\theta }^t)$概率下对左右两边求期望：
$$左边={\int }_{z}p(z|x,{\theta }^t)\log p(x|\theta )dz=\log p(x|\theta )$$

$$右边={\int }_{z}p(z|x,{\theta }^t)\log p(x,z|\theta )dz-{\int }_{z}p(z|x,{\theta }^t)\log p(z|x,\theta )dz=Q(\theta ,{\theta }^t)-H(\theta ,{\theta }^t)$$

所以：
$$\log p(x|\theta )=Q(\theta ,{\theta }^t)-H(\theta ,{\theta }^t)$$
由于 $$Q(\theta ,{\theta }^t)={\int }_{z}p(z|x,{\theta }^t)\log p(x,z|\theta )dz,$$
而 $${\theta }^{t+1}=\underset{\theta }{\mathrm{argmax}}{\int }_{z}p(z|x,{\theta }^t)\log p(x,z|\theta )dz=\underset{\theta }{\mathrm{argmax}}Q(\theta ,{\theta }^t),$$
所以 $$Q({\theta }^{t+1},{\theta }^t)\ge Q({\theta }^t,{\theta }^t).$$
这时要证 $\log p(x|{\theta }^t)\le \log p(x|{\theta }^{t+1})$，只需证：$H({\theta }^t,{\theta }^t)\ge H({\theta }^{t+1},{\theta }^t)$：

即$$H({\theta }^t,{\theta }^t)\ge H({\theta }^{t+1},{\theta }^t)$$
综上我们得证
$$\log p(x|{\theta }^t)\le \log p(x|{\theta }^{t+1})$$

进一步，我们来看EM 迭代过程是如何得来的

$$\log p(x|\theta )=\log p(z,x|\theta )-\log p(z|x,\theta )=\log \frac{p(z,x|\theta )}{q(z)}-\log \frac{p(z|x,\theta )}{q(z)}$$

在概率分布$q(z)$下， 对上式左右两边求期望${\mathbb{E}}_{q(z)}$：

其中$$ELBO={\int }_{z}q(z)\log \frac{p(z,x|\theta )}{q(z)}dz，$$
$ELBO$ 的全称是Evidence lower bound，我们知道$KL(q(z)||p(z|x,\theta ))\ge 0$，所以

$$\log p(x|\theta )\ge ELBO,$$

在$KL(q(z)||p(z|x,\theta ))=0$，上式取等号，即：$q(z)=p(z|x,\theta )$，EM 算法的目的是将 ELBO 最大化，根据上面的证明过程，在每一步 EM 后，求得了最大的$ELBO$，并将这个使 $ELBO $最大的参数代入下一次迭代中，这时便有
$$\hat{\theta }={\mathrm{argmax}}_{\theta }ELBO={\mathrm{argmax}}_{\theta }{\int }_{z}q(z)\log \frac{p(x,z|\theta )}{q(z)}dz$$

由于 $q(z)=p(z|x,{\theta }^t)$的时候，最大值才能取等号，所以

$$\begin{gathered} \hat{\theta }={\mathrm{argmax}}_{\theta }ELBO={\mathrm{argmax}}_{\theta }{\int }_{z}q(z)\log \frac{p(x,z|\theta )}{q(z)}dz={\mathrm{argmax}}_{\theta }{\int }_{z}p(z|x,{\theta }^t)\log \frac{p(x,z|\theta )}{p(z|x,{\theta }^t)}dz \\ ={\mathrm{argmax}}_{\theta }{\int }_{z}p(z|x,{\theta }^t)\log p(x,z|\theta )dz \end{gathered}$$
我们就得到了开始给出的EM算法迭代式。

从 Jensen 不等式出发，也可以导出上式：

$$\begin{gathered} logp(x|\theta )=\log {\int }_{z}p(x,z|\theta )dz=\log {\int }_z\frac{p(x,z|\theta )q(z)}{q(z)}dz \\ =\log {\mathbb{E}}_{q(z)}[\frac{p(x,z|\theta )}{q(z)}]\ge {\mathbb{E}}_{q(z)}[\log \frac{p(x,z|\theta )}{q(z)}] \end{gathered}$$
右边的式子便是我们上面的 $ELBO$，等号在 $ \frac{p(x,z|\theta)}{q(z)} =C$ 时成立。这里$C$是常数，于是：

$${\int }_{z}q(z)dz=\frac{1}{C}{\int }_{z}p(x,z|\theta )dz=\frac{1}{C}p(x|\theta )=1$$
即$p(x|\theta )=C$, 另外我们知道$p(x,z|\theta )=Cq(z)$, 所以
$$q(z)=\frac{Cq(z)}{C}=\frac{1}{p(x|\theta )}p(x,z|\theta )=p(z|x,\theta )$$

这个结果就是上面的最大值取等号的条件。

参考：
模式识别与机器学习(PRML)
李航的统计学习方法