EM算法

EM算法

主要解决含有隐变量（latent variable）的参数估计问题。
一般求解参数我们会使用极大似然估计（MLE），即对于条件概率
$P(x|\theta )$,通过${\theta }_{MLE}=\underset{\theta }{\mathrm{argmax}}\log P(x|\theta )$，来求解参数。但对于高斯混合模型这种带有隐变量的复杂的模型，无法直接通过MLE进行参数求解，需要通过EM算法进行迭代的更新，进而得到最优的$\theta$。

EM算法主要公式：
$${\theta }^{t+1}=\underset{\theta }{\mathrm{argmax}}{\int }_z\log P(x,z|\theta )\cdot P(z|{\theta }^t,x)dz$$

其中$z$为隐变量，$P(z|{\theta }^t,x)$为其后验分布。上式右端亦可写作对期望${\mathbb{E}}_{z|{\theta }^t,x}(\log P(x,z|\theta ))$进行最大化。

EM算法收敛性证明

要证明EM算法的收敛性，需证明每次迭代后$P(x|\theta )$均变大，即$\log P(x|{\theta }^{t+1})⩾\log P(x|{\theta }^t)$。两边同时对变量$(z|x,{\theta }^t)$积分，其中右端为：
$${\int }_z\log P(x|{\theta }^t)P(z|x,{\theta }^t)dz=\log P(x|{\theta }^t)$$

左端为：
$$\begin{array}{rlr}{\int }_z\log P(x|{\theta }^{t+1})P(z|x,{\theta }^t)dz& ={\int }_z\log P(x,z|{\theta }^{t+1})P(z|x,{\theta }^t)-\log P(z|x,{\theta }^{t+1})P(z|x,{\theta }^t)dz& \end{array}$$
对于第一项，由EM算法公式显然有$${\int }_z\log P(x,z|{\theta }^{t+1})P(z|x,{\theta }^t)dz\ge {\int }_z\log P(x,z|{\theta }^t)P(z|x,{\theta }^t)dz$$。
而对于第二项，我们希望证得$${\int }_z\log P(z|x,{\theta }^{t+1})P(z|x,{\theta }^t)dz\le {\int }_z\log P(z|x,{\theta }^t)P(z|x,{\theta }^t)$$
左减右得
$${\int }_{z}P(z|x,{\theta }^t)\log \frac{P(z|x,{\theta }^{t+1})}{P(z|x,{\theta }^t)}=-\text{KL }(P(z|x,{\theta }^t)||P(z|x,{\theta }^{t+1}))\le 0$$

至此，收敛性得证。

公式导出

EM算法主要有两步：
E-step： $P(z|x,{\theta }^t)\to$${\mathbb{E}}_{z|{\theta }^t,x}(\log P(x,z|\theta ))$
即根据更新得到的${\theta }^t$重新计算期望。
M-step: ${\theta }^{t+1}=\underset{\theta }{\mathrm{argmax}}{\int }_z\log P(x,z|\theta )\cdot P(z|{\theta }^t,x)dz$

我们需要最大化$\log P(x|\theta )$，即
$$\log P(x|\theta )=\log \frac{P(x,z|\theta )}{q(z)}-\log \frac{P(z|x,\theta )}{q(z)}$$
两端同时对$q(z)$积分，即
$$\begin{array}{rl}{\int }_{z}q(z)\log P(x|\theta )dz& ={\int }_z\left(q(z)\log \frac{P(x,z|\theta )}{q(z)}-q(z)\log \frac{P(z|x,\theta )}{q(z)}\right)dz\\ & =\text{ELBO}+\text{KL}(q(z)||P(z|x,\theta ))\\ & \ge \text{ELBO}\end{array}$$

因此我们需要最大化$\text{ELBO}$,上式取等条件为$q(z)=P(z|x,{\theta }^t)$,(此处先固定$\theta$为上一次迭代的结果${\theta }^t$。则此时
$$\text{EBLO}={\int }_{z}P(z|x,{\theta }^t)\log \frac{P(x,z|\theta )}{P(z|x,{\theta }^t)}dz$$

那么有
$${\theta }^{t+1}=\underset{\theta }{\mathrm{argmax}}{\int }_z\log P(x,z|\theta )\cdot P(z|x,{\theta }^t)dz$$
从而有EM算法的表达式。

广义EM

EM算法中$P(z|x,{\theta }^t)$可能无解析式，所以不能直接将$q(z)=P(z|x,{\theta }^t)$，而在$\theta$固定是情况下，$p(x|\theta )$也固定，因此我们需要降低$\text{KL}(q(z)||P(z|x,\theta ))$从而使得$\text{EBLO}$变大。即先固定$\theta$，令$$q(z)=\underset{q}{\mathrm{argmin}}\text{KL}(q||p)=\underset{q}{\mathrm{argmax}}\text{ELBO}$$

而后固定$q$，令
$$\theta =\underset{\theta }{\mathrm{argmax}}\text{ELBO}$$

故广义EM算法的形式为：
E-step: $q^{t+1}=\underset{q}{\mathrm{argmax}}\text{ELBO}(q,{\theta }^t)$
M-step $p^{t+1}=\underset{q}{\mathrm{argmax}}\text{ELBO}(q^t,\theta )$