EM算法（expectation maximization algorithm）含有隐变量的概率模型参数的极大似然估计方法

引言

概率模型的目的是最大化标签在特征条件下的概率分布 $P(y|X;\theta )$。一般来讲，我们可根据给定样本的标签 $y$ 和特征 $X$ 数据，直接使用极大似然估计法或贝叶斯估计法来估计模型参数 $\theta$。

但当标签 $y$ 是不可观测的隐变量（hidden variable）时，极大似然估计法或贝叶斯估计法失效，需要使用期望极大算法（expectation maximization algorithm, EM）对模型参数进行极大似然估计。

EM算法推导

一个含有隐变量的概率模型，目标变为是最大化观测数据（不完全数据）$X$ 关于模型参数 的对数似然函数：

$$\hat{\theta }=\underset{\theta }{\mathrm{argmax}}L(\theta )\text{\hspace{1em}(1)}$$$$L(\theta )=log[P(X|\theta )]=log\left[\begin{array}{c}{\sum }_{Y}P(X,Y|\theta )\end{array}\right]=log\left[\begin{array}{c}{\sum }_{Y}P(X|Y,\theta )P(Y|\theta )\end{array}\right]\text{\hspace{1em}(2)}$$
EM算法是通过迭代来逐步近似极大化 $L(\theta )$ 的，假设在第 $i$ 次迭代后 $\theta$ 的估计值是 ${\theta }^{(i)}$，所以前后两次迭代对数似然函数的差值 $\Delta L(\theta )$ 等于：

$$\Delta L(\theta )=L(\theta )-L({\theta }^{(i)})=log\left[\begin{array}{c}{\sum }_{Y}P(X|Y,\theta )P(Y|\theta )\end{array}\right]-logP(X|{\theta }^{(i)})$$$$L(\theta )-L({\theta }^{(i)})=log\left[\begin{array}{c}{\sum }_{Y}P(X|Y,\theta )P(Y|\theta )\end{array}\right]-log\left[\begin{array}{c}{\sum }_{Y}P(X,Y|{\theta }^{(i)})\end{array}\right]$$$$L(\theta )-L({\theta }^{(i)})=log\left[\begin{array}{c}{\sum }_{Y}P(X|Y,\theta )P(Y|\theta )\end{array}\right]-log\left[\begin{array}{c}{\sum }_{Y}P(Y|X,{\theta }^{(i)})P(X|{\theta }^{(i)})\end{array}\right]\text{\hspace{1em}(3)}$$

利用Jensen不等式¹得到 $\Delta L(\theta )$ 的下界：

$$L(\theta )-L({\theta }^{(i)})=log\left[\begin{array}{c}{\sum }_{Y}P(X|Y,\theta )P(Y|\theta )\end{array}\right]-log\left[\begin{array}{c}{\sum }_{Y}P(Y|X,{\theta }^{(i)})P(X|{\theta }^{(i)})\end{array}\right]$$$$L(\theta )-L({\theta }^{(i)})\ge \sum _Y[P(Y|X,{\theta }^{(i)})\cdot log(\frac{P(X|Y,\theta )P(Y|\theta )}{P(Y|X,{\theta }^{(i)})})]-\sum _Y[P(Y|X,{\theta }^{(i)})\cdot logP(X|{\theta }^{(i)})]\text{\hspace{1em}(4)}$$
合并同类项后，$式(4)$中 ${\sum }_Y[P(Y|X,{\theta }^{(i)})\cdot log(\frac{P(X|Y,\theta )P(Y|\theta )}{P(Y|X,{\theta }^{(i)})})]-{\sum }_Y[P(Y|X,{\theta }^{(i)})\cdot logP(X|{\theta }^{(i)})]$ 可简化为：

$$\sum _{Y}P(Y|X,{\theta }^{(i)})\cdot log[\frac{P(X|Y,\theta )P(Y|\theta )}{P(Y|X,{\theta }^{(i)})P(X|{\theta }^{(i)})}]\text{\hspace{1em}(5)}$$所以$式(4)$可简化为：

$$L(\theta )-L({\theta }^{(i)})\ge \sum _{Y}P(Y|X,{\theta }^{(i)})\cdot log[\frac{P(X|Y,\theta )P(Y|\theta )}{P(Y|X,{\theta }^{(i)})P(X|{\theta }^{(i)})}]\text{\hspace{1em}(6)}$$

令
$$B(\theta ,{\theta }^{(i)})=L({\theta }^{(i)})+\sum _Y[P(Y|X,{\theta }^{(i)})\cdot log(\frac{P(X|Y,\theta )P(Y|\theta )}{P(Y|X,{\theta }^{(i)})P(X|{\theta }^{(i)})})]\text{\hspace{1em}(7)}$$

则
$$L(\theta )\ge B(\theta ,{\theta }^{(i)})\text{\hspace{1em}(8)}$$

因此，任何可以使 $B(\theta ,{\theta }^{(i)})$ 增大的 $\theta$ 也可以使 $L(\theta )$ 增大，所以模型参数的估计可变换为：
$$\hat{\theta }={\theta }^{(i+1)}=\underset{\theta }{\mathrm{argmax}}B(\theta ,{\theta }^{(i)})$$$$\hat{\theta }={\theta }^{(i+1)}=\underset{\theta }{\mathrm{argmax}}L({\theta }^{(i)})+\sum _Y[P(Y|X,{\theta }^{(i)})\cdot log(\frac{P(X|Y,\theta )P(Y|\theta )}{P(Y|X,{\theta }^{(i)})P(X|{\theta }^{(i)})})]\text{\hspace{1em}(9)}$$可见上式十分复杂，我们不妨省去一些对参数估计没有影响的常数项，以简化 $B(\theta ,{\theta }^{(i)})$ 表达式。由此模型参数的极大似然估计可简写成如下所示：

$$\hat{\theta }={\theta }^{(i+1)}=\underset{\theta }{\mathrm{argmax}}\sum _Y[P(Y|X,{\theta }^{(i)})log(P(X|Y,\theta )P(Y|\theta ))]$$$$\hat{\theta }={\theta }^{(i+1)}=\underset{\theta }{\mathrm{argmax}}\sum _Y[P(Y|X,{\theta }^{(i)})\cdot logP(X,Y|\theta )]\text{\hspace{1em}(10)}$$
$式(10)$中 ${\sum }_Y[P(Y|X,{\theta }^{(i)})\cdot logP(X,Y|\theta )]$ 可定义为$Q$函数，它表示完全数据的对数似然函数 $logP(X,Y|\theta )$ 在给定观测数据 $X$ 和当前参数 ${\theta }^{(i)}$ 下对不可观测数据 $Y$ 的条件概率分布 $P(Y|X,{\theta }^{(i)})$ 的期望 $E_Y[logP(X,Y|\theta )|X,{\theta }^{(i)}]$。所以：

$$Q(\theta ,{\theta }^{(i)})=E_Y[logP(X,Y|\theta )|X,{\theta }^{(i)}]=\sum _Y[P(Y|X,{\theta }^{(i)})\cdot logP(X,Y|\theta )]\text{\hspace{1em}(11)}$$

---

1. $log\left[\begin{array}{c}{\sum }_j{\lambda }_j{y}_j\end{array}\right]\ge {\sum }_j{\lambda }_{j}log(y_j),其中要求{\lambda }_j\ge 0且{\sum }_j{\lambda }_j=1$，更多内容可参考文章：EM算法(Expectation Maximization) ↩︎