机器学习笔记（十七）——EM算法的推导

一、Jensen 不等式

    在EM算法的推导过程中，用到了数学上的Jensen不等式，这里先来介绍一下。
若Ω是有限集合$\{x_1,x_2,\ldots,x_n\}$，而μ是Ω上的正规计数测度，则不等式的一般形式可以简单地用和式表示:

$$\varphi\left(\sum_{i=1}^{n} g(x_i)\lambda_i \right) \le \sum_{i=1}^{n} \varphi(g(x_i))\lambda_i，（17-1）$$
　　其中 $\lambda_1 + \lambda_2 + \cdots + \lambda_n = 1, \lambda_i \ge 0$。

　　若φ是凹函数，只需把不等式符号调转。主要参考文献【1】
　　

二、EM算法推导

    面对一个含有隐含变量的概率模型，目标是极大化观测数据$Y$关于参数$\theta$的对数似然函数，即极大化：

$$L(\theta) = log P(Y;\theta) = log \sum_{z} P(Y,Z; \theta)\\ = log \sum_{z} P(Y|Z; \theta) P(Z; \theta)$$
    事实上，EM算法是通过迭代逐步极大化 $L(\theta)$的。假设在第 $i$次迭代后 $\theta$的估计值是 $\theta^{(i)}$。我们希望新的估计值 $\theta$能使 $L(\theta)$增加，即 $L(\theta) > L(\theta^{(i)})$,并逐步达到极大值。为此考虑两者的差：
$$L(\theta) - L(\theta^{(i)}) =log (\sum_{z} P(Y|Z; \theta) P(Z; \theta)) - log P(Y;\theta^{(i)}) \\ = log (\sum_{z} P(Z|Y;\theta^{(i)}) \frac{P(Y|Z; \theta) P(Z; \theta)}{P(Z|Y; \theta^{(i)})}) - log P(Y;\theta^{(i)}) \\ \ge \sum_{z} P(Z|Y;\theta^{(i)}) log \frac{P(Y|Z; \theta) P(Z; \theta)}{P(Z|Y; \theta^{(i)})} -log P(Y;\theta^{(i)}) \\ = \sum_{z} P(Z|Y;\theta^{(i)}) log \frac{P(Y|Z; \theta) P(Z; \theta)}{P(Z|Y; \theta^{(i)})P(Y;\theta^{(i)})}$$

上式利用了Jensen不等式，在17-1式中， 令 $\varphi$ 为 $log$， 且$\sum_{z} P(Z|Y;\theta^{(i)}) =1$，则可得上述推导。注意$log$为凹函数，不等号要改变方向。

令

$$B(\theta,\theta^{(i)}) = L(\theta^{(i)}) + \sum_{z} P(Y|Z;\theta^{(i)}) log \frac{P(Y|Z; \theta) P(Z; \theta)}{P(Y|Z; \theta^{(i)})P(Y;\theta^{(i)})} ，（17-2）$$
则：
$$L(\theta) \ge B(\theta,\theta^{(i)})$$
那么， $B(\theta,\theta^{(i)})$是 $L(\theta)$的一个下界，由17-2知道：
$$L(\theta^{(i)}) = B(\theta^{(i)},\theta^{(i)})$$
因此，任何可以使 $B(\theta,\theta^{(i)})$增大的 $\theta$，都可使 $L(\theta)$增大，选择 $\theta^{(i+1)}$使 $B(\theta,\theta^{(i)})$达到极大，即：
$$\theta^{(i+1)} = arg \max_{\theta} B(\theta,\theta^{(i)})$$
现在求 $\theta^{(i+1)}$ 的表达式,省去对于 $\theta$而言都是常数的项：
$$\theta^{(i+1)} = arg\max_{\theta} \left(L(\theta^{(i)})+\sum_{z}P(Y|Z;\theta^{(i)}) log \frac{P(Y|Z; \theta) P(Z; \theta)}{P(Y|Z;\theta^{(i)})P(Y;\theta^{(i)})}\right)\\ = arg\max_{\theta} \left(\sum_{z}P(Y|Z;\theta^{(i)}) log{P(Y|Z; \theta) P(Z; \theta)}\right)\\ = arg\max_{\theta} \left(\sum_{z}P(Y|Z;\theta^{(i)})log P(Y,Z;\theta)\right)\\ = arg\max_{\theta} Q(\theta, \theta^{(i)})$$
EM算法并不能保证全局最优值，直观解释如图所示。

参考文献

http://wiki.mbalib.com/wiki/%E8%A9%B9%E6%A3%AE%E4%B8%8D%E7%AD%89%E5%BC%8F