【2019.11.27】EM算法详细推导

EM算法

无隐变量下，极大似然函数为：
$$L(\theta )=\prod _{i}P\left(x^i;\theta \right)$$

含隐变量时候，变为：
$$L(\theta ,z)=\prod _i\sum _{j}P(x^i,z^i;\theta )$$

取对数似然：
$$lnL(\theta ,z)=\sum _i\left[log\left(\sum _{j}P(x^i,z^j;\theta )\right)\right]$$

其中，极大化该似然函数的主要困难是包含未观测数据和包含和的对数，因此不寻找其解析解，转为寻找其数值解。

EM算法的数值解法

思想：寻找一个${\theta }^{\prime }$，使$L({\theta }^{\prime })>L(\theta )$，使其逐步达到极大值

设对于每个x_i，存在一个未知概率分布函数$Q_i(z^{(j)})$，其满足概率分布函数的特性，即：
$$\begin{gathered} \sum _j{Q}_i(z^j)=1 \\ {Q}_i(z^j)\in [0,1] \end{gathered}$$

引入：随机变量$Y$的期望$E(Y)$
$$E(Y)=\sum _{y\in Y}\left(P(y)\ast y\right)$$

其中，y是随机变量Y的一个取值，P(y)是这个取值发生的概率。

引入：Jensen不等式
$$log(E(Y))\ge E(log(y))$$

此时，令$\frac{P(x^i,z^j;\theta )}{Q_i(z^j)}$为分布$Q_i$的一个样本，$Q_i(z^j)$为这个样本的概率，可以得到

$$\begin{gathered} \log \left(E\left(\frac{P(x^i,z^j;\theta )}{Q_i(z^j)}\right)\right)\ge E\left(\log \left(\frac{P(x^i,z^j;\theta )}{Q_i(z^j)}\right)\right) \\ =\sum _j\left[Q_i(z^j)\log \left(\frac{P(x^i,z^j;\theta )}{Q_i(z^j)}\right)\right] \end{gathered}$$

上面的推导过程结束后，可以直接应用于含隐函数的极大似然函数：

$$\begin{gathered} lnL(\theta )=\sum _i\log \sum _{j}P(x^i,z^j;\theta ) \\ =\sum _i\log \sum _j{Q}_i(z^j)\frac{P(x^i,z^j;\theta )}{Q_i(z^j)} \\ \ge \sum _i\left\{\sum _j\left[Q_i(z^j)\log \left(\frac{P(x^i,z^j;\theta )}{Q_i(z^j)}\right)\right]\right\}\text{\hspace{1em}(1)} \end{gathered}$$

公式 (1) 实际上构建了对数似然函数的下界，而这个下界是存在优化手段的，因此通过优化该下界，我们可以让最后的$L(\theta )$不断增大。而在什么情况下优化这个下界，一定可以增大原本的$L(\theta )$呢？答案就是等式成立的时候。

引入：Jensen不等式成立条件：当随机变量是常数的时候，Jensen不等式取等号。

即，当

$$\frac{P(x^i,z^j;\theta )}{Q_i(z^j)}=c\text{\hspace{1em}(2)}$$

时，上式的推导可以取等号。

下面来通过 式(2) 求位置的概率分布 $Q_i$

$$P(x^i,z^j;\theta )=c{Q}_i(z^j)$$
同时对所有的隐变量z（用 j 来遍历） 求和，另外注意${\sum }_j{Q}_i(z^j)=1$，得：

$$\sum _{j}P(x^i,z^j;\theta )=c\sum _j{Q}_i(z^j)=c$$

所以$c={\sum }_{j}P(x^i,z^j;\theta )$，注意该式其实是求$x$的边缘分布，因此
$$c=\sum _{j}P(x^i,z^j;\theta )=P(x^i;\theta )$$

将上式代回 式(2)，可得
$$\begin{gathered} Q_i(z^j)=\frac{P(x^i,z^j;\theta )}{{\sum }_{j}P(x^i,z^j;\theta )}=\frac{P(x^i,z^j;\theta )}{P(x^i;\theta )} \\ =P(z^j|x^i;\theta ) \end{gathered}$$

可以得到$Q_i$最终是一个条件概率，也即在上式中取$Q_i(z^j)=P(z^j|x^i;\theta )$时，我们就找到了极大似然函数的下界。

同时注意到$Q$函数拥有明确的含义：在由参数$\theta$确定的概率分布下的$x^i$的$z^j$的条件概率。如果有看过 人人都懂EM算法 这篇博客的例子的同学，应该能够明白其含义

对于两百个男女混搭的同学，先随便假设一个参数，然后判断在这个参数条件下某个同学各自属于男女的概率，然后再各自使用极大似然估计优化参数。

上面一段话中的加粗部份，就是求$Q_i$函数所做的事情，即EM算法中的E步。

在求解完成后，我们来进行下一步，M步

原优化目标为：
$$\theta ,z=argma{x}_{\theta ,z}lnL(\theta ,z)$$

现优化目标（M步）变成了：
$$\theta =argma{x}_{\theta }\sum _i\sum _j{Q}_i(z^j)log\frac{P(x^i,z^j;\theta )}{Q_i(z^j)}$$

这一步的优化如何完成，此时就是用一些数值解法了，如梯度下降法，拟牛顿法等，这里要提的是，EM算法那只能求得极大值，无法求得最大值。

《统计学习方法》中，李航的公式貌似有一些错误，另外很多博客上其所用的符号感觉并不友好，相比较而言，使用 ";“来表示其后的参数是相关参数比用竖杠”|"表示更好，因为竖杠很容易会被当做条件概率，cs229中的笔记也是这样表示的。

EM算法对我而言，一方面是体会到了一种思想，另一方面则是对数学期望的彻底理解。

参考文献

李航《统计学习方法》
人人都懂EM算法
cs229-note8