EM算法收敛性的推导

EM算法收敛性的推导

当第t次迭代开始时，将上一步的参数计算先验概率分布和条件概率分布以求出后验概率分布为$P(Z \mid Y,\theta^{(t)})$，带入下限函数B得

$$B(\theta^{(t)},\theta)=\sum_z P(Z \mid Y,\theta^{(t)}) \log \frac{P(X,Y \mid \theta)}{P(Z \mid Y,\theta^{(t)})}$$ 似然函数L和下限函数B在 $\theta^{(t)}$这一点相等，如下 $$\begin{eqnarray*} B(\theta^{(t)},\theta^{(t)})-L(\theta^{(t)}) &=& \sum_z P(Z \mid Y,\theta^{(t)}) \log\frac{P(X,Y \mid \theta^{(t)})}{P(Z \mid Y,\theta^{(t)})} - \log P(Y\mid \theta^{(t)}) \\ &=& \sum_z P(Z \mid Y,\theta^{(t)}) \log\frac{P(X,Y \mid \theta^{(t)})}{P(Z \mid Y,\theta^{(t)})} - \sum_z P(Z \mid Y,\theta^{(t)})\log P(Y\mid \theta^{(t)}) \\ &=& \sum_z P(Z \mid Y,\theta^{(t)}) \log\frac{P(X,Y \mid \theta^{(t)})}{P(Z \mid Y,\theta^{(t)})P(Y\mid \theta^{(t)})} \\ &=& \sum_z P(Z \mid Y,\theta^{(t)}) \log1 = 0 \end{eqnarray*}$$
由于对 $B(\theta^{(t)},\theta)$求极大值在 $\theta^{(t+1)}$取得，因此 $$B(\theta^{(t)},\theta^{(t)}) \leq B(\theta^{(t)},\theta^{(t+1)})$$ 又由B是L的下限函数，因此 $$B(\theta^{(t)},\theta^{(t+1)}) \leq L(\theta^{(t+1)})$$ 综上， $$L(\theta^{(t+1)}) \geq L(\theta^{(t)})$$ 又似然函数一定小于1大于0，那么似然函数有界，函数单调又有界必收敛，似然函数的收敛性得证。