EM算法收敛性推导

EM算法（Expectation-Maximization）,就是用最大似然MLE来递推求模型的参数。顾明思议分为两步：第一步求隐变量的期望，第二步找到让隐变量期望最大化的参数。用公式来表示最终的目标就是：
$$\begin{gathered} L(\theta )=\sum _{i}log(p(x_i;\theta )) \\ \theta =\underset{\theta }{\mathrm{argmax}}L(\theta ) \end{gathered}$$
而模型中有未知的隐变量z，那么
$$L(\theta )=\sum _{i}log\sum _z(p(x_i,z;\theta ))$$
里面的求和实际上是希望求z得期望，假设z服从某种分布，它的概率是$Q_i(z)$，它的取值分布是$g(z)$，那么$L(\theta )$可以进一步变成：
$$\begin{gathered} L(\theta )=\sum _{i}logE(z) \\ L(\theta )=\sum _{i}log\sum _z{Q}_i(z)g(z) \\ L(\theta )=\sum _{i}log\sum _z{Q}_i(z)\frac{p(x_i,z;\theta )}{Q_i(z)} \end{gathered}$$
利用Jesson不等式，凸函数$f(E(z))>=E(f(z))$，相等的情况是$E(z)=z$，当$E(z)$是常数的时候。那么可以成功把log放进求和里面
$$L(\theta )>=\sum _i\sum _z{Q}_i(z)log\frac{p(x_i,z;\theta )}{Q_i(z)}=J(z,\theta )$$
所以，整个极大似然的概率$L(\theta )$有下界$J(z,\theta )$，我们每次优化可以提供下界$J(z,\theta )$，来不断提高$L(\theta )$，也就是说$L(\theta )$是不断递增的，同时$L(\theta )$不超过1，这就是算法能收敛的原因。
还剩下一个问题$Q_i(z)$应该如何选择，如果Jesson不等式相等的条件就是
$$\frac{p(x_i,z;\theta )}{Q_i(z)}=c$$
同时${\sum }_z{Q}_i(z)=1$，c是一个常数，也就是说${\sum }_{z}p(x_i,z;\theta )$是和z无关的，写成公式就是
$$\sum _{z}p(x_i,z;\theta )=p(x_i;\theta )$$
那么
$$\begin{gathered} Q_i(z)=\frac{p(x_i,z;\theta )}{{\sum }_{z}p(x_i,z;\theta )} \\ {Q}_i(z)=\frac{p(x_i,z;\theta )}{p(x_i;\theta )} \\ {Q}_i(z)=p(z|x_i;\theta ) \end{gathered}$$
这也解决了$Q_i(z)$如何选择的问题，刚好的已知参数和数据情况下的后验概率。
所以，EM算法用公式表达就是：

1. E步：算隐含变量的期望，隐含变量的概率分布是$$Q_i(z)=p(z|x_i;\theta )$$
   而期望的下界是
   $$J(z,\theta )=\sum _i\sum _z{Q}_i(z)log\frac{p(x_i,z;\theta )}{Q_i(z)}$$
2. M步：找到隐含变量期望最大化的$\theta$进行下一轮迭代，期望下界最大化就是期望最大化
   $$\theta =\underset{\theta }{\mathrm{argmax}}J(z,\theta )$$