EM算法详解

EM Expectation-Maxium详细推导

参考：https://www.cnblogs.com/pinard/p/6912636.html

EM算法想要解决的问题

我们想要求解模型的未知参数，一般可以利用极大化模型的对数似然函数。但是有的问题不仅模型参数未知，而且还存在其他的未知的隐含数据，这个时候就不能直接利用极大化似然函数了。
这个时候，我们的思路是，对于两种未知变量（待求的模型参数和未知的隐含数据），我们首先猜想未知的隐含数据（E步），其次基于观测数据和猜测的隐含数据再次极大化似然函数（M步），求解出模型参数。然后由于隐含数据是猜测的，所以需要不断重新猜测，既是重复E步和M步。

EM算法的推导

关于Q的推导非常详细，综合了若干文章总结得到

对于m个样本的观察数据$x=\left(x^{(1)},x^{(2)},...x^{(m)}\right)$,求出模型的参数$\theta$,似然函数可以写成如下：
$$\theta =arg\underset{\theta }{\max }\sum _{i=1}^m\log P(x^{(i)};\theta )$$
上面的式子由于含有两个未知参量（$z$和$\theta$）,所以没办法求出$\theta$，因此进行了如下缩放：
$$\begin{gathered} \sum _{i=1}^m\log \sum _{z^{(i)}}P(x^i,z^i;\theta )=\sum _{i=1}^m\log \sum _{z^{(i)}}{Q}_i(z^{(i)})\frac{P(x^i,z^i;\theta )}{Q_i(z^{(i)})} \\ \ge \sum _{i=1}^m\sum _{z^{(i)}}{Q}_i(z^{(i)})\log \frac{P(x^i,z^i;\theta )}{Q_i(z^{(i)})} \end{gathered}$$
两个点：1、引入了新的未知分布$Q_i(z^{(i)})$ 2、jensen不等式。
$$\log \sum _j{\lambda }_j{y}_j\ge \sum _j{\lambda }_j\log y_j,{\lambda }_j\ge 0,\sum _j{\lambda }_j=1$$
$$f(E(x))\ge E(f(x))如果发f(x)是凸函数（原博客应该有误）$$
从而jenson不等式取得等号的条件是：
$$\frac{P(x^i,z^i;\theta )}{Q_i(z^{(i)})}=cc是常数公式1$$
由于$Q_i(z^{(i)})$是一个分布，所以满足：
$$\sum _z{Q}_i(z^{(i)})=1$$
${\sum }_{z^{(i)}}{Q}_i(z^{(i)})\frac{P(x^i,z^i;\theta )}{Q_i(z^{(i)})}$正是$\frac{P(x^i,z^i;\theta )}{Q_i(z^{(i)})}$的期望，为什么这样说呢。首先$Q_i(z^{(i)})$是一个我们假设的隐含变量z的一个分布，所以满足上述相加等于1的条件（因为他是概率密度）。其次由概率论可知：
$$E(Y)=E(g(x))=\sum g(x_k)p(x_k)$$
从而我们的Q就是上述的p,我们的$\frac{P(x^i,z^i;\theta )}{Q_i(z^{(i)})}$就是上述的$g(x_k)$，也即是随机变量$z_i$的函数。
下面我们继续推到：
由于$\frac{P(x^i,z^i;\theta )}{Q_i(z^{(i)})}=cc是常数$，那么$P(x^i,z^i;\theta )=c\ast Q_i(z^{(i)})$
，从而有$$\sum P(x^i,z^i;\theta )=\sum c\ast Q_i(z^{(i)})=c\ast \sum Q_i(z^{(i)})=c公式2$$
然后我们就得到了一个重要的公式：
$$\sum P(x^i,z^i;\theta )=c注：这是在假设jensen不等式等号成立的条件下$$
从而我们有以下公式：
$$Q_i(z^{(i)})=\frac{P(x^{(i)},z^{(i)};\theta )}{c}=\frac{P(x^{(i)},z^{(i)};\theta )}{{\sum }_{z}P(x^{(i)},z^{(i)};\theta )}=\frac{P(x^{(i)},z^{(i)};\theta )}{P(x^{(i)},;\theta )}=P(z^{(i)}|x^{(i)};\theta )by公式1、2$$

所以一个重要结论就是Q就是z的后验概率（假设jensen不等式成立的条件下），至此Q就可以选择了，E步也就完成了。M步就是最大化似然函数了。

所以整体流程可以整理如下：
1、根据参数$\theta$和观察变量计算隐藏变量z的后验概率：
$$Q_i(z^{(i)})=P(z^{(i)}|x^{(i)};\theta )$$
2、最大化似然函数，更新$\theta$
$$\theta =arg\underset{\theta }{\max }\sum _{i=1}^m\sum _{z^{(i)}}{Q}_i(z^{(i)})\log \frac{P(x^i,z^i;\theta )}{Q_i(z^{(i)})}$$
也就是
3、重复上面的两个步骤