EM算法

EM算法是处理有隐变量的情况下使用的方法
函数g(x)的数学期望可以表示为：

EM算法思想：
1:先给定一个初始的$\theta$求出f(x)函数的期望Ef(x)，
2:然后再求出使得期望最大化的新的$\theta$值

步骤：

1. 建立对数目标似然函数
   $L(\theta )={\sum }_{i=1}\log p(x|\theta )$
   这里$表示样本x服从概率为p(x)的某种分布，\theta 为分布的参数$

2. 当目标函数不能直接求解，依赖于隐含变量时，我们引入隐含变量，目标函数变为：
   $L(\theta )=\sum _{i=1}\log \sum _{z}p(x,z|\theta )$

3. 分子分母同时乘以z的分布$Q(z)$,构造Jensen不等式
   $L(\theta )=\sum _{i=1}\log \sum _{z}Q(z)\frac{p(x,z|\theta )}{Q(z)}$

4. 应用Jensen不等式:因为log函数是凹函数，所以有$f(Ex)\ge Ef(x)$ ：
   $L(\theta )=\sum _{i=1}\log \sum _{z}Q(z)\frac{p(x,z|\theta )}{Q(z)}\ge \sum _{i=1}\sum _{z}Q(z)\log \frac{p(x,z|\theta )}{Q(z)}$
   也就是说$Ef(x)是f(Ex)的下界函数$，

5. 如果能够取到两边相等，要求$\frac{p(x,z|\theta )}{Q(z)}=C$,也就是 $Q(z)=\frac{1}{C}p(x,z|\theta )$,两边对$z求积分有$
   ${\int }_{z}Q(z)dz={\int }_z\frac{1}{C}p(x,z|\theta )dz$,
   整理有：
   $1=\frac{1}{C}{\int }_{z}p(x,z|\theta )dz=\frac{1}{C}p(x|\theta )$
   $C=p(x|\theta )$
   带入原不等式函数有
   $\frac{p(x,z|\theta )}{Q(z)}=C$
   $\frac{p(x,z|\theta )}{Q(z)}=p(x|\theta )$
   $\frac{p(x,z|\theta )}{p(x|\theta )}=Q(z)$
   $p(z|x,\theta )=Q(z)，可以看出Q(z)等于后验$

EM算法步骤：

r e p e a t   u n t i l 收 敛 : { repeat \ until 收敛:\{ repeat until收敛:{
{ \{ {
$E步骤:Q_z=p(z|x,{\theta }^t)$
$M步骤:{\theta }^{t+1}=argmax\sum _{i=1}\sum _{z}Q(z)\log \frac{p(x,z|{\theta }^{t+1})}{Q(z)}$
${\theta }^{t+1}=argmax\sum _{i=1}\sum _{z}Q(z)(\log p(x,z|{\theta }^{t+1})-\log Q(z))$
因为$Q(Z)对于求{\theta }^{t+1}无关，所以原式可以写做：$
${\theta }^{t+1}=argmax\sum _{i=1}\sum _{z}Q(z)\log p(x,z|{\theta }^{t+1})$
${\theta }^{t+1}=argmax\sum _{i=1}\sum _{z}p(z|x,{\theta }^t)\log p(x,z|{\theta }^{t+1})$
$\}$