EM算法学习

#! https://zhuanlan.zhihu.com/p/402301009

EM算法详解

1.1 EM算法概括

  我们从最大后验出发，根据最大后验的原理，我们求参数的方法为${\theta }_{MLE}=\underset{a}{\mathrm{argmax}}P(x|\theta )$,EM算法的迭代格式为
$$\begin{array}{rl}{\theta }^{(t+1)}& =\underset{\theta }{\mathrm{argmax}}{\int }_z\log P(x,z|\theta )\cdot P(z|x,{\theta }^{(t)})dz\\ & =\underset{\theta }{\mathrm{argmax}}{E}_{z|x,{\theta }^{(t)}}[\log P(x,z|\theta )]\end{array}$$

1.2 证明收敛性

  我们上面给出了迭代式，我们接下来就要证明这个迭代式的收敛性，即证明：$\log P\left(x,{\theta }^{(t)}\right)\le \log P\left(x,{\theta }^{(t+1)}\right)$
$pf$:因为
$$\log p(x\mid \theta )=\log p(x,z\mid \theta )-\log p(z\mid x,\theta )$$
对两边关于$z$积分：
$$\begin{array}{rl}{\int }_{z}p(z\mid x,{\theta }^{(t)})\log p(x\mid \theta )dz& ={\int }_{z}p(z\mid x,{\theta }^{(t)})\log p(x,z\mid \theta )dz-{\int }_{z}p(z\mid x,{\theta }^{(t)})\log p(z\mid x,\theta )dz\\ \log p(x\mid \theta )& =Q(\theta ,{\theta }^{(t)})+H(\theta ,{\theta }^{(t)})\end{array}$$
其中$Q(\theta ,{\theta }^{(t)})={\int }_{z}p(z\mid x,{\theta }^{(t)})\log p(x,z\mid \theta )dz$, $H(\theta ,{\theta }^{(t)})=-{\int }_{z}p(z\mid x,{\theta }^{(t)})\log p(z\mid x,\theta )dz$
根据上面的$\theta$定义显然有$Q({\theta }^{(t)},{\theta }^{(t)})\le Q({\theta }^{(t+1)},{\theta }^{(t)})$，下面我们来证明$H({\theta }^{(t+1)},{\theta }^{(t)})\le H({\theta }^{(t)},{\theta }^{(t)})$
$$\begin{array}{rl}H\left({\theta }^{(t+1)},{\theta }^{(t)}\right)-H\left({\theta }^{(t)},{\theta }^{(t)}\right)& ={\int }_{z}p(z\mid x,{\theta }^{(t)})\log p(z|x,{\theta }^{(t)})dz-{\int }_{z}p(z\mid x,{\theta }^{(t)})\log p(z|x,{\theta }^{(t+1)})dz\\ & ={\int }_{z}p(z\mid x,{\theta }^{(t)})\log \frac{p(z|x,{\theta }^{(t)})}{p(z|x,{\theta }^{(t+1)})}dz\\ & =-KL(p(z\mid x,{\theta }^{(t)})\Vert p(z\mid x,{\theta }^{(t+1)}))\\ & \le 0\end{array}$$
证得结论成立，该迭代式可行。

2 EM算法

  下面我们给出EM算法的具体步骤
假设$X$是观察数据，$Z$是隐变量，$(X,Z)$是完全数据。
$$\begin{gathered} Estep:根据已知参数求最大期望E_{z|x,{\theta }^{(t)}}[\log P(x,z|{\theta }^{(t)})] \\ Mstep:{\theta }^{(t+1)}=\underset{a}{\mathrm{argmax}}{E}_{z|x,{\theta }^{(t)}}[\log P(x,z|{\theta }^{(t)})] \end{gathered}$$

3 EM算法推导

关于最大后验，有结论
$$\begin{array}{rl}\log P(x\mid \theta )& =\log P(x,z\mid \theta )-\log P(z\mid x,\theta )\\ & =\log \frac{P(x,z\mid \theta )}{q(z)}-\log \frac{P(z\mid x,\theta )}{q(z)}\end{array}$$
两边仍关于$z$求积分
$$\begin{array}{rl}{\int }_{z}q(z)\log P(x\mid \theta )dz& ={\int }_{z}q(z)\log \frac{P(x,z\mid \theta )}{q(z)}dz-{\int }_{z}q(z)\log \frac{P(z\mid x,\theta )}{q(z)}dz\\ \log P(x\mid \theta )& =ELBO+KL(q(z)\Vert P(z|x,\theta ))\end{array}$$
EM算法的思想就是通过迭代使$ELBO$变大,从而提升$\log likelihood$(对数似然)。即
$$\begin{array}{rl}\hat{\theta }& =\underset{\theta }{\mathrm{argmax}}ELBO\\ & =\underset{\theta }{\mathrm{argmax}}{\int }_{z}q(z)\log \frac{P(x,z\mid \theta )}{q(z)}dz\\ & =\underset{\theta }{\mathrm{argmax}}{\int }_{z}p(z\mid x,{\theta }^{(t)})\log \frac{P(x,z\mid \theta )}{p(z\mid x,{\theta }^{(t)})}dz\\ & =\underset{\theta }{\mathrm{argmax}}{\int }_{z}p(z\mid x,{\theta }^{(t)})\log P(x,z\mid \theta )dz\end{array}$$
通过最大后验的角度我们就推导出了$EM$算法的迭代式，就是不断提高$ELBO$。

4 EM算法推导的另外一个角度

这里我们再介绍一个推导出来$EM$算法的另外一个角度——利用Jensen不等式。关于Jensen不等式大家可以看知乎上的一篇回答
Jensen不等式。
$$\begin{array}{rl}\log P(x|\theta )& =\log {\int }_{z}P(x,z|\theta )dz\\ & =\log {\int }_{z}q(z)\cdot \frac{P(x,z|\theta )}{q(z)}dz\\ & =\log E_{q(z)}[\frac{P(x,z|\theta )}{q(z)}]\\ & \ge E_{q(z)}[\log \frac{P(x,z|\theta )}{q(z)}]\\ & =ELBO\end{array}$$
根据Jensen不等式可知，只有当$\frac{P(x,z|\theta )}{q(z)}$为常数时，等号才成立。
此时
$$\begin{array}{rl}\frac{P(x,z|\theta )}{q(z)}& =C\\ q(z)& =\frac{P(x,z|\theta )}{C}\\ {\int }_{z}q(z)dz& ={\int }_z\frac{P(x,z|\theta )}{C}dz\\ 1& =\frac{1}{C}P(x|\theta )\\ P(x|\theta )& =C\end{array}$$
所以
$$q(z)=\frac{P(x,z|\theta )}{P(x|\theta )}$$
这就证明了$q(z)$是关于$z$的后验，符合上一个推导的结果。

5 关于EM算法

1. EM算法解决的是概率生成模型的问题
2. 狭义EM算法可以推导到广义EM算法
   根据上面的推导，我们有下面的结论
   $$\log P(x|\theta )=ELBO+KL(q\Vert p)$$
   其中
   $$\{\begin{array}{l}ELBO=E_{q(z)}[\log \frac{P(x,z\mid \theta )}{q(z)}]\\ KL\left(q\Vert p\right)={\int }_{z}q(z)\log \frac{q(z)}{p(z|x,\theta )}dz\end{array}$$
   所以
   $$\log P(x|\theta )\ge ELBO=\mathcal{L}(q,\theta )$$
   在狭义EM算法中，$q(z)=P(z|x,{\theta }^{(t)})$。有时$P(z|x,{\theta }^{(t)})$也会不易求得(此时可以用近似推断方法来求，包括变分推断、MCMC采样)，所以此时不能直接令$q(z)=P(z|x,{\theta }^{(t)})$，此时就是广义EM算法的形式:
   在形式上， $\hat{\theta }$固定时，$\hat{q}=\underset{q}{\mathrm{argmax}}KL(q\Vert p)=\underset{q}{\mathrm{armax}}\mathcal{L}(q)$
        $\hat{q}$固定时，$\hat{\theta }=\underset{\theta }{\mathrm{argmax}}\mathcal{L}(\hat{q})$
   广义EM算法：
   $$\{\begin{array}{l}E-step:q^{(t+1)}=\underset{q}{\mathrm{armax}}\mathcal{L}(q,{\theta }^{(t)})\\ M-step:{\theta }^{(t+1)}=\underset{\theta }{\mathrm{argmax}}\mathcal{L}(q^{(t+1)},\theta )\end{array}$$
   观察广义EM算法里$ELBO$的形式：
   $$\begin{array}{rl}\mathcal{L}(q,\theta )& =E_q[\log P(x,z)-\log q(z)]\\ & =E_q[\log P(x,z)]-E_q[\log q(z)]\\ & =E_q[\log P(x,z)]+H(q)\end{array}$$
   其中$H(q)=-{\int }_{z}q(z)\log q(z)dz$是关于$q$分布的熵。
   在狭义EM算法中我们可以观察到是没有第二项的，是因为在狭义EM算法中$q$分布是确定的，$H(q)=0$

6 EM算法的变种

前面我们提到在狭义EM算法中，$q(z)=P(z|x,{\theta }^{(t)})$。有时$P(z|x,{\theta }^{(t)})$也会不易求得(此时可以用近似推断方法来求，包括变分推断、MCMC采样)，所以此时不能直接令$q(z)=P(z|x,{\theta }^{(t)})$，这就分别有EM算法的变种——VEM, MCEM。