EM 算法的收敛性证明

UTF8gbsn

如何证明EM算法的收敛性. EM算法的收敛性证明有两个点.

1. $P(Y|\theta )$,
   有上界,而$L({\theta }^t)=logP(Y|{\theta }^t)$收敛到某一个值$L^{\ast }$

2. EM算法的收敛序列${\theta }^t$,收敛到${\theta }^{\ast }$是$L(\theta )$的稳定点.

今天我们这里只证明第一点, 第二点留作后面来证明.

第一个定理

$$P(Y|{\theta }^{t+1})⩾P(Y|{\theta }^t)$$

这个定理证明如下.

1. 首先,由于 $$P(Y|\theta )=\frac{P(Y,Z|\theta )}{P(Z|Y,\theta )}$$ 可得
   $$L[P(Y|\theta )]=logP(Y,Z|\theta )-logP(Z|Y,\theta )$$

2. 我们将${\theta }^t$, 也即是我们上一步迭代求出来的估计参数引入. $$\begin{array}{rl}Q(\theta ,{\theta }^t)& =\sum _{i}P(Z_i|Y,{\theta }^t)logP(Z_i,Y|\theta )\\ H(\theta ,{\theta }^t)& =\sum _{i}P(Z_i|Y,{\theta }^t)logP(Z_i|Y,\theta )\end{array}$$

3. 上式两个相减可得. $$\begin{array}{rl}Q(\theta ,{\theta }^t)-H(\theta ,{\theta }^t)& =\sum _{i}P(Z_i|Y,{\theta }^t)log\frac{P(Z_i,Y|\theta )}{P(Z_i|Y,\theta )}\\ & =\sum _{i}P(Z_i|Y,{\theta }^t)logP(Y|\theta )\\ & =L[P(Y|\theta )]\end{array}$$

4. 现在我们引入参数${\theta }^{t+1}$. $$\begin{array}{rl}logP(Y|{\theta }^{t+1})-logP(Y|{\theta }^t)& =Q({\theta }^{t+1},{\theta }^t)-H({\theta }^{t+1},{\theta }^t)-Q({\theta }^t,{\theta }^t)+H({\theta }^t,{\theta }^t)\\ & =Q({\theta }^{t+1},{\theta }^t)-Q({\theta }^t,{\theta }^t)-[H({\theta }^{t+1},{\theta }^t)-H({\theta }^t,{\theta }^t)]\end{array}$$

接下来,需要证明
$$Q({\theta }^{t+1},{\theta }^t)-Q({\theta }^t,{\theta }^t)⩾0$$
这个是显而易见的,
因为${\theta }^{t+1}=\arg {\max }_{\theta }Q(\theta ,{\theta }^t)$. 再接下来证明
$$\begin{array}{rl}H({\theta }^{t+1},{\theta }^t)-H({\theta }^t,{\theta }^t)& =\sum _{i}P(Z_i|Y,{\theta }^t)log\frac{P(Z_i|Y,{\theta }^{t+1})}{P(Z_i|Y,{\theta }^t)}\\ & ⩽log\sum _{i}P(Z_i|Y,{\theta }^t)\frac{P(Z_i|Y,{\theta }^{t+1})}{P(Z_i|Y,{\theta }^t)}\\ & =log\sum _{i}P(Z_i|Y,{\theta }^{t+1})=0\end{array}$$

于是结论 $$P(Y|{\theta }^{t+1})⩾P(Y|{\theta }^t)$$
得证.故而第一点得证.因为$L(\theta )$的单调有界性, 于是它就是收敛的.

第二个定理

至于如何证明收敛到${\theta }^{\ast }$
是$L(\theta )$的一个稳定点的这名请参考文章Tobias, R. D. (1986). 1983-On
the Convergence Proferties of the EM Algorithm.pdf. Annals of
Statistics, 14(2), 590–606.