EM算法的导出、收敛性证明

首先，把使用的符号声明一下。
$Y:观测变量各分量iid，即P(Y)=P(y_1,y_2,...,y_N）={\prod }_{i=1}^{N}P(y_i)$
$Z:隐变量$
$\Theta :参数$
$(Y,Z):完全数据$

我们知道，EM算法的迭代公式为${\Theta }^{t+1}=argma{x}_{\Theta }{\int }_{Z}P(Z|Y,{\Theta }^t)logP(Y,Z|\Theta )dZ$，现在依次推导其导出及收敛性。

1.导出

使用最大似然推导，我们的目的是使得$logP(Y|\Theta )$最大，故从这个角度出发。
$$\begin{array}{rl}logP(Y|\Theta )& =logP(Y,Z|\Theta )-logP(Z|Y,\Theta )\\ 引入Q(Z)\ne 0& =log\frac{P(Y,Z|\Theta )}{Q(Z)}-log\frac{P(Z|Y,\Theta )}{Q(Z)}\end{array}$$
两边对$Q(Z)$求期望:
$$\begin{array}{rl}左边& ={\int }_{Z}Q(Z)logP(Y|\Theta )dZ\\ & =logP(Y|\Theta ){\int }_{Z}Q(Z)dZ\\ & =logP(Y|\Theta )\cdot 1\\ & =logP(Y|\Theta )\\ 右边& ={\int }_{Z}Q(Z)log\frac{P(Y,Z|\Theta )}{Q(Z)}dZ-{\int }_{Z}Q(Z)log\frac{P(Z|Y,\Theta )}{Q(Z)}dZ\\ & =ELBO+KL(Q(Z)||P(Z|Y,\Theta ))\end{array}$$
右边的$ELBO$(Evidence lower bound)是似然 $logP(Y|\Theta )$的一个下界，因为$KL(Q(Z)||P(Z|Y,\Theta )\ge 0$，故$logP(Y|\Theta )\ge ELBO$（当$KL(Q(Z)||P(Z|Y,\Theta )=0$时取等号）。因此，最大化似然的过程可以转化为最大化$ELBO$的过程。现在回到开头，我们导出${\Theta }^{t+1}=argma{x}_{\Theta }{\int }_{Z}P(Z|Y,{\Theta }^t)logP(Y,Z|\Theta )dZ$，即在已知${\Theta }^t$推导${\Theta }^{t+1}$，此时$Q(Z)=P(Z|Y,{\Theta }^t)$，则在第t+1步最大化似然等价于最大化$ELBO$。
$$\begin{array}{rl}{\Theta }^{t+1}& =argma{x}_{\Theta }logP(Y|\Theta )\\ & =argma{x}_{\Theta }ELBO\\ & =argma{x}_{\Theta }{\int }_{Z}Q(Z)log\frac{P(Y,Z|\Theta )}{Q(Z)}dZ\\ & =argma{x}_{\Theta }{\int }_{Z}P(Z|Y,{\Theta }^t)log\frac{P(Y,Z|\Theta )}{P(Z|Y,{\Theta }^t)}dZ\\ & =argma{x}_{\Theta }{\int }_{Z}P(Z|Y,{\Theta }^t)logP(Y,Z|\Theta )dZ-{\int }_{Z}P(Z|Y,{\Theta }^t)logP(Z|Y,{\Theta }^t)dZ\\ & =argma{x}_{\Theta }{\int }_{Z}P(Z|Y,{\Theta }^t)logP(Y,Z|\Theta )dZ\end{array}$$
此处解释一下上面公式的最后一步等号是怎么得来的，因为后面那项的${\Theta }^t$是已知的，即与$\Theta$无关，故在求关于$\Theta$的极大时，它求导后为0。至此，EM算法的导出得证。当然，还可以使用Jesen不等式的方法。

2.收敛性证明

所谓收敛性证明，即证明$logP(Y|\Theta )$是递增的，从而它可以在迭代过程中取得极大值。首先，同样地把对数似然写开。
$$logP(Y|\Theta )=logP(Y,Z|\Theta )-logP(Z|Y,\Theta )$$
两边对$P(Z|Y,{\Theta }^t)$求期望：
$$\begin{gathered} \begin{array}{rl}左边& ={\int }_{Z}P(Z|Y,{\Theta }^t)logP(Y|\Theta )dZ\\ & =logP(Y|\Theta )\\ 右边& ={\int }_{Z}P(Z|Y,{\Theta }^t)logP(Y,Z|\Theta )dZ-{\int }_{Z}P(Z|Y,{\Theta }^t)logP(Z|Y,\Theta )dZ\\ & =Q(\Theta ,{\Theta }^t)-H(\Theta ,{\Theta }^t)\end{array} \\ 则证明似然函数递增等价于证明[Q({\Theta }^{t+1},{\Theta }^t)-H({\Theta }^{t+1},{\Theta }^t)]-[Q({\Theta }^t,{\Theta }^t)-H({\Theta }^t,{\Theta }^t)]\ge 0， \\ 首先，Q({\Theta }^{t+1},{\Theta }^t)-Q({\Theta }^t,{\Theta }^t)\ge 0是显然的，因为{\Theta }^{t+1}=argma{x}_{\Theta }Q(\Theta ,{\Theta }^t)，现在即需证 \\ H({\Theta }^t,{\Theta }^t)-H({\Theta }^{t+1},{\Theta }^t)\ge 0. \\ \begin{array}{rl}H({\Theta }^t,{\Theta }^t)-H({\Theta }^{t+1},{\Theta }^t)& ={\int }_{Z}P(Z|Y,{\Theta }^t)log\frac{P(Z|Y,{\Theta }^t)}{P(Z|Y,{\Theta }^{t+1})}dZ\\ & =KL(P(Z|Y,{\Theta }^t)||P(Z|Y,{\Theta }^{t+1}))\\ & \ge 0\end{array} \end{gathered}$$
上述后面的$H({\Theta }^t,{\Theta }^t)-H({\Theta }^{t+1},{\Theta }^t)\ge 0$也可以使用Jesen不等式证明，此处略。至此，收敛性得证。