EM算法推导

1.EM问题背景

随机变量中观测变量为$X=(x_1，x_2,...,x_n{)}^T$,
隐变量为$Z=(z_1,z_2,...z_n{)}^T$
若$X$服从的分布模型参数为$\Theta =({\theta }_1,{\theta }_2,...{\theta }_k)$，
则在模型$\theta$下产生观测值X的概率为$P(X|\Theta )={\Pi }_i^{m}P(x^{(i)}|\Theta )$
则对数似然函数为
$$\begin{array}{rl}LL(\Theta )& =\sum _i^{m}logP(x^{(i)}|\Theta )\\ & =\sum _i^{m}log\sum _{Z^{(i)}}P(x^{(i)},z^{(i)}|\Theta )\end{array}$$
目的是求出使对数似然函数尽量大的$\Theta$值

2.Jensen不等式

如果函数$f(x)$为凸函数，如$f(x)=x^2$，则有$E[f(x)]\ge f(E[x])$，当$x$为常量时取等

3.EM算法推导

step1 初始化：

对$\Theta =({\theta }_1,{\theta }_2,...{\theta }_k)$进行初始化

step2 E步：

上述对数似然函数中乘除一个$Q_i(z^{(i)})$，且满足${\sum }_{z^{(i)}}{Q}_i(z^{(i)})=1$，使得式子变为一个期望，即
$$\begin{array}{rl}LL(\Theta )& =\sum _i^{m}logP(x^{(i)}|\Theta )\\ & =\sum _i^{m}log\sum _{Z^{(i)}}P(x^{(i)},z^{(i)}|\Theta )\\ & =\sum _i^{m}log\sum _{Z^{(i)}}[Q_i(z^{(i)})\frac{P(x^{(i)},z^{(i)}|\Theta )}{Q_i(z^{(i)})}]，对Z求和转化为\frac{P(x^{(i)},z^{(i)}|\Theta )}{Q_i(z^{(i)})}的期望\\ & 由Jensen不等式,f(x)=logx，则有E[f(x)]\le f(E[x])\\ & \ge \sum _i^m\sum _{Z^{(i)}}[Q_i(z^{(i)})log\frac{P(x^{(i)},z^{(i)}|\Theta )}{Q_i(z^{(i)})}]，令此式子为g(\Theta )\end{array}$$
在$g(\Theta )$与$LL(\Theta )$相交点，若$g(\Theta )$逐渐增大，则$LL(\Theta )$必定也逐渐增大，否则会不满足不等式，
所以取$g(\Theta )=LL(\Theta )$时的$\Theta$可以找到局部更优解，通过迭代可找到局部最优解

当$\frac{P(x^{(i)},z^{(i)}|\Theta )}{Q_i(z^{(i)})}=c$时（$c$为常数）,不等式取等
则有$$\begin{array}{rl}P(x^{(i)},z^{(i)}|\Theta )& =c\ast Q_i(z^{(i)})，左右同时对z^{(i)}求和\\ \sum _{z^{(i)}}P(x^{(i)},z^{(i)}|\Theta )& =\sum _{z^{(i)}}c\ast Q_i(z^{(i)})\\ \sum _{z^{(i)}}P(x^{(i)},z^{(i)}|\Theta )& =c\end{array}$$

则$$\begin{array}{rl}{Q}_i(z^{(i)})& =\frac{P(x^{(i)},z^{(i)}|\Theta )}{c}\\ & =\frac{P(x^{(i)},z^{(i)}|\Theta )}{{\sum }_{z^{(i)}}P(x^{(i)},z^{(i)}|\Theta )}\end{array}$$

带入$g(\Theta )$有：$g(\Theta )={\sum }_i^m{\sum }_{Z^{(i)}}[Q_i(z^{(i)})log\frac{P(x^{(i)},z^{(i)}|\Theta )}{Q_i(z^{(i)})}]$是关于$\Theta$的函数，其中$Q_i(z^{(i)})$是第k次迭代中确定${\Theta }^{(k)}$后，来找${\Theta }^{(k+1)}$使$g(\Theta )$函数值更大的一个定量，所以在后面对$\Theta$求偏导时不需要对$Q_i(z^{(i)})$中的$\Theta$进行求导。

step3 M步：

对$g(\Theta )$中的各个$\theta$求偏导，找到$g(\Theta )$的极大值

step4 重复

重复step2和step3，直至收敛，即$\Theta$的值不再变化