EM算法为什么能work

UTF8gbsn

EM算法的由来, 上一篇文章介绍了EM算法的具体步骤,
且给出了一个EM算法例子的详细推导. 但是没有给出EM算法为什么有效的证明.
这里我们来证明并推导一下EM算法的推导.首先如果我们有观察值$X$,
我们需要估计参数$\theta$. 使用MLE(极大似然估计)

$$\arg \underset{\theta }{\max }L(\theta ;X)$$

如果有隐变量$Z$, 并且知道隐变量$Z$的估计模型我们可以改写最大似然估计为
$$\begin{array}{rl}\arg \underset{\theta }{\max }L(\theta ;X)& =\arg \underset{\theta }{\max }L(\theta ;X,Z)\\ & =\arg \underset{\theta }{\max }\sum _{Z}lnP(X|Z_i,\theta )P(Z_i|\theta )\end{array}$$

那么, 这个公式实际上不好计算,
因为穷举$P(Z|\theta ),P(X|Z,\theta )$是不容易的.
所以我们想到使用近似来做. 假设我们${\theta }^t$参数来近似. 我们先来计算误差
$$\begin{array}{rl}L(\theta )-L({\theta }^t)& =ln[\sum _{Z}P(X|Z_i,\theta )P(Z_i|\theta )]-lnP(X|{\theta }^t)\\ & =ln[\sum _{Z}P(Z_i|X,{\theta }^t)\frac{P(X|Z_i,\theta )P(Z_i|\theta )}{P(Z_i|X,{\theta }^t)}]-lnP(X|{\theta }^t)\\ & ⩾\sum _{Z}P(Z_i|X,{\theta }^t)ln[\frac{P(X|Z_i,\theta )P(Z_i|\theta )}{P(Z_i|X,{\theta }^t)}]-lnP(X|{\theta }^t),(Jenseninequality)\\ & =\sum _{Z}P(Z_i|X,{\theta }^t)ln[\frac{P(X|Z_i,\theta )P(Z_i|\theta )}{P(Z_i|X,{\theta }^t)P(X|{\theta }^t)}]\end{array}$$

令$B_{\theta ,{\theta }^t}$为
$$B_{\theta ,{\theta }^t}=\sum _{Z}P(Z_i|X,{\theta }^t)ln[\frac{P(X|Z_i,\theta )P(Z_i|\theta )}{P(Z_i|X,{\theta }^t)P(X|{\theta }^t)}]+L({\theta }^t)$$

由此可见$L(\theta )>B_{\theta ,{\theta }^t}$. 也就是说,
$B_{\theta ,{\theta }^t}$是$L(\theta )$的下界,如果我们能够优化$\arg {\max }_{\theta }B(\theta ,{\theta }^t)$.
我们就可以逼近$L(\theta )$.

$$\begin{array}{rl}\arg \underset{\theta }{\max }B(\theta ,{\theta }^t)& =\arg \underset{\theta }{\max }\sum _{Z}P(Z_i|X,{\theta }^t)ln[\frac{P(X|Z_i,\theta )P(Z_i|\theta )}{P(Z_i|X,{\theta }^t)P(X|{\theta }^t)}]+L({\theta }^t)\\ & =\arg \underset{\theta }{\max }\sum _{Z}P(Z_i|X,{\theta }^t)ln[P(X|Z_i,\theta )P(Z_i|\theta )]\\ & =\arg \underset{\theta }{\max }\sum _{Z}P(Z_i|X,{\theta }^t)ln[P(X,Z_i|\theta )]\end{array}$$

其中可见, $Q(\theta ,{\theta }^t)$, 为

$$Q(\theta ,{\theta }^t)=\sum _{Z}P(Z_i|X,{\theta }^t)ln(P(X,Z_i|\theta ))$$

于是,这正式我们的E步, 最终我们可以求得$\theta$