Machine Learning Series No.6 -- EM algorithm

EM算法

1.直观理解

通俗理解：https://blog.csdn.net/v_JULY_v/article/details/81708386

通俗的理解看出就是EM算法由于不知道隐变量的分布，先给出参数的随机初始值，然后根据参数，去得到隐变量的分布，然后根据隐变量和观测变量的共同分布基于最大似然去重新估计参数，知道参数稳定。

2.数学推导

极大似然估计：

$$L(\theta) = \sum_{i}\log p(x_i;\theta) = \sum_{i}\log (\sum_{j}p(x_i,z_j;\theta))$$

$$L(\theta) = \sum_{i}\log(\sum_{j}\frac{p(x_i,z_j;\theta)}{Q_j(z_j)}Q_j(z_j))$$

$$= \sum_{i} \log (E_{z_j~Q_j(z_j)}(\frac{p(x_i,z_j;\theta)}{Q_j(z_j)}))$$

由于log函数是凹函数，有$f(E(x)) \ge E(f(x))$，则上式可化为：

$$L(\theta) \ge \sum_i \sum_j Q_j(z_j) \log \frac{p(x_i,z_j;\theta)}{Q_j(z_j)}$$
当 $\frac{p(x_i,z_j;\theta)}{Q_j(z_j)} = c$(常数)时，取等号。

因此以当前点构造的下界为：

$$\frac{p(x_i,z_j;\theta)}{Q_j(z_j)} = c$$
因为 $z_j$的分布为 $Q_j$，同时他们的概率和应为1。
$$\sum_jQ_j(z_j)=1$$
所以，可得：
$$\sum_j \frac{p(x_i,z_j;\theta)}{c}=1$$

$$\sum_jp(x_i,z_j;\theta) =p(x_i;\theta) = c$$

$$Q_j(z_j) = \frac{p(x_i,z_j;\theta)}{\sum_jp(x_i,z_j;\theta)}=p(z_j|x_i;\theta)$$

至此，E步完毕。E步目的是为了构造最大下界，此时Q函数为后验概率。

而M步为了最大化下界：

将$Q_j(z_j)$代入原有的$L(\theta)$中去：

$$\max_\theta\sum_i \sum_j Q_j(z_j) \log \frac{p(x_i,z_j;\theta)}{Q_j(z_j)}$$
最大化下界，得到新的 $\theta$估计。

3.图形理解

先随机初始化$\theta_0$，对应的下界为$g\_z0$，然后E步构造似然函数下界$g\_z1$，使得下界在$\theta_0$时与$L(\theta)$相等（即Jensen不等式中，等于常数时取等号）。M步最大化下界，得到$M1$,对应的$\theta_1$为参数的新的估值。这个过程在迭代求解。

4.与K-means的关系

https://www.zhihu.com/question/49972233?sort=created

5.EM算法

EM算法中的Q函数为：

$$Q(\theta,\theta_i) = E_z[\log P(X,Z|\theta)|X,\theta_i]$$
而将我们的最大似然推导出来的Q函数代入，下界得到的却是：
$$\sum_i \sum_j p(z_j|x_i,\theta_t) \log \frac{p(x_i,z_j;\theta)}{p(z_j|x_i,\theta_t)}$$
这里注意，求解出来的Q函数代入的时候，不能使用
$$\frac{p(x_i,z_j;\theta)}{p(z_j|x_i,\theta_t)}=p(x_i)$$
这里的 $\theta$是不一样的。

最终的等价可由以下式子推出：