EM（Expectation Maximization）算法原理小结

---

适用问题：概率模型参数估计

模型特点：含有隐变量的概率模型

模型类型：-

损失函数：对数似然损失

学习策略：极大似然估计，最大后验概率估计

学习算法：迭代算法

1. EM 算法

EM算法是一种 迭代算法，用于含有隐变量的概率模型参数的极大似然估计或极大后验概率估计。EM算法的每次迭代分2步：

• E步：求期望
• M步：求极大

1.2 为什么需要EM算法?

通常求解概率模型参数时，是采用极大似然估计的方法求解，即目标是极大化观测数据（设为$Y$）关于参数$\theta$的对数似然函数，即极大化$L(\theta )=log{P}_{\theta }(Y)$或写成$L(\theta )=logP(Y|\theta )$。

当概率模型还含有隐变量$Z$时，则

$$L(\theta )=log{P}_{\theta }(Y)=log\sum _Z{P}_{\theta }(Y,Z)=log\sum _Z{P}_{\theta }(Y|Z)P_{\theta }(Z)$$

此时对数似然函数中$log$ 里含有求和（或者叫积分），很难得到解析解，即无法使用求偏导令其等于0的方式求解，此时则可采用求解 近似最优解 （工程上），那么EM算法就是一种通过迭代，逐步逼近$L(\theta )$极大值的方法。

EM 算法的基本思想：假设在第n次迭代后$\theta$的估计值为${\theta }_n$，则我们希望新的估计值$\theta$能使得$L(\theta )$增加，即有$L(\theta )>L({\theta }_n)$，并逐步达到极大值。也就是说，当此时${\theta }_n$为已知，我们的目标就转化为，只要使得：$L(\theta )>L({\theta }_n)$，即迭代得到的$\theta$ 在不断使得似然变大，那么就可以通过迭代，逐步求得近似最优解（最优解就是似然最大时的解）。

1.2 EM 算法推导

假设当迭代 n 次后，得到参数${\theta }_n$，即此时${\theta }_n$为已知，则

$$\begin{array}{rl}L(\theta )-L({\theta }_n)& =log{P}_{\theta }(Y)-log{P}_{{\theta }_n}(Y)\\ & =log\sum _Z{P}_{\theta }(Y|Z)P_{\theta }(Z)-log{P}_{{\theta }_n}(Y)\\ & =\underset{I_1}{\underbrace{log\sum _Z{P}_{\theta }(Y|Z)P_{\theta }(Z)}}-\underset{I_2}{\underbrace{log{P}_{{\theta }_n}(Y)}}\end{array}$$

$$\begin{array}{rl}{I}_1& =log\sum _Z{P}_{\theta }(Y|Z)P_{\theta }(Z)\\ & =log\sum _Z{P}_{\theta }(Y|Z)P_{\theta }(Z)\cdot \frac{P_{{\theta }_n}(Z|Y)}{P_{{\theta }_n}(Z|Y)}\\ & =log\sum _Z{P}_{{\theta }_n}(Z|Y)\frac{P_{\theta }(Y|Z)P_{\theta }(Z)}{P_{{\theta }_n}(Z|Y)}\\ & ⩾\sum _Z{P}_{{\theta }_n}(Z|Y)log\frac{P_{\theta }(Y|Z)P_{\theta }(Z)}{P_{{\theta }_n}(Z|Y)}\end{array}$$

上面$I_1$利用了“琴生不等式”，即把$P_{{\theta }_n}(Z|Y)$看成权重/系数，且满足$P_{{\theta }_n}(Z|Y)⩾0$以及$\sum _Z{P}_{{\theta }_n}(Z|Y)=1$，则可以使用“琴生不等式”。

【补充】：琴生（Jensen）不等式
当为凸函数时，有$f(\frac{x_1+x_2}{2})⩾\frac{1}{2}[f(x_1)+f(x_2)]$
推广有：$f(\sum w_i{x}_i)⩾\sum w_{i}f(x_i)$，当$\sum w_i=1$ ， $w_i>0$ 为正数
推广有：$f(E(X))⩾E(f(X))$

$$\begin{array}{rl}{I}_2& =log{P}_{{\theta }_n}(Y)\\ & =log{P}_{{\theta }_n}(Y)\cdot 1\\ & =log{P}_{{\theta }_n}(Y)\cdot \sum _Z{P}_{{\theta }_n}(Z|Y)\\ & =\sum _Z{P}_{{\theta }_n}(Z|Y)ln{P}_{{\theta }_n}(Y)\end{array}$$

则有：

$$\begin{array}{rl}L(\theta )-L({\theta }_n)=I_1-I_2& ⩾\sum _Z{P}_{{\theta }_n}(Z|Y)log\frac{P_{\theta }(Y|Z)P_{\theta }(Z)}{P_{{\theta }_n}(Z|Y)}-\sum _Z{P}_{{\theta }_n}(Z|Y)log{P}_{{\theta }_n}(Y)\\ & =\sum _Z{P}_{{\theta }_n}(Z|Y)[log\frac{P_{\theta }(Y|Z)P_{\theta }(Z)}{P_{{\theta }_n}(Z|Y)}-log{P}_{{\theta }_n}(Y)]\\ & =\sum _Z{P}_{{\theta }_n}(Z|Y)log\frac{P_{\theta }(Y|Z)P_{\theta }(Z)}{P_{{\theta }_n}(Z|Y)P_{{\theta }_n}(Y)}\end{array}$$

EM算法关键：下边界函数

令$B(\theta |{\theta }_n)=L({\theta }_n)+\sum _Z{P}_{{\theta }_n}(Z|Y)log\frac{P_{\theta }(Y|Z)P_{\theta }(Z)}{P_{{\theta }_n}(Z|Y)P_{{\theta }_n}(Y)}$，则有：

$$L(\theta )⩾B(\theta |{\theta }_n)$$

称$B(\theta |{\theta }_n)$为$L(\theta )$的 下边界函数（这是EM算法的关键）。

并且此下边界函数还有个特点：$B({\theta }_n|{\theta }_n)=L({\theta }_n)$

因为当$\theta ={\theta }_n$时，
$$log\frac{P_{\theta }(Y|Z)P_{\theta }(Z)}{P_{{\theta }_n}(Z|Y)P_{{\theta }_n}(Y)}=log\frac{P_{{\theta }_n}(Y|Z)P_{{\theta }_n}(Z)}{P_{{\theta }_n}(Z|Y)P_{{\theta }_n}(Y)}=log\frac{P_{{\theta }_n}(Y,Z)}{P_{{\theta }_n}(Y,Z)}=log1=0$$

即有$B({\theta }_n|{\theta }_n)=L({\theta }_n)+0$。

因为有$L(\theta )⩾B(\theta |{\theta }_n)$且$L({\theta }_n)=B({\theta }_n|{\theta }_n)$，也就是说任何使得$B(\theta |{\theta }_n)$增大的$\theta$，也可以使得$L(\theta )$增大，而为了使$L(\theta )$有尽可能大的增长，则选择${\theta }_{n+1}$时就选能使$B(\theta |{\theta }_n)$达到极大值的$\theta$，即${\theta }_{n+1}=\arg \underset{\theta }{\max }B(\theta |{\theta }_n)$，即求下边界函数的max，其对应的$\theta$就为${\theta }_{n+1}$。

EM算法解释

通过上图来看一下是如何迭代求解最终的${\theta }^{\ast }$ 的：

• 当在${\theta }_n$这一点时，$L(\theta )$与此时的下边界函数$B(\theta |{\theta }_n)$（橘色曲线）相切，即有$L({\theta }_n)=B({\theta }_n|{\theta }_n)$，然后求得$B(\theta |{\theta }_n)$的max 对应的$\theta$即为${\theta }_{n+1}$，即${\theta }_{n+1}=\arg \underset{\theta }{\max }B(\theta |{\theta }_n)$。
• 当在${\theta }_{n+1}$这一点时，此时定有$L({\theta }_{n+1})>L({\theta }_n)$（因为其下边界在这一点处取得max），此时其对应的下边界函数为$B(\theta |{\theta }_{n+1})$（红色曲线），与$L(\theta )$在${\theta }_{n+1}$这点相切。即有$L({\theta }_{n+1})=B({\theta }_{n+1}|{\theta }_{n+1})$，然后求得$B(\theta |{\theta }_{n+1})$的max 对应的$\theta$即为${\theta }_{n+2}$，即${\theta }_{n+2}=\arg \underset{\theta }{\max }B(\theta |{\theta }_{n+1})$。
• 当在${\theta }_{n+2}$这一点时，此时定有$L({\theta }_{n+2})>L({\theta }_{n+1})$（因为其下边界在这一点处取得max），此时其对应的下边界函数为$B(\theta |{\theta }_{n+2})$…

下边界函数也一直在随着迭代变化，即每一步迭代，就会得到新的下边界函数，通过求解新的下边界函数的max去得到新的$\theta$，而新的$L(\theta )$一定是在不断增大的，如此迭代下去，不断逼近似然函数的max，以及相对应的参数$\theta$，满足迭代停止条件（例如$\Vert {\theta }_{n+1}-{\theta }_n\Vert <ϵ$）时，那么此时得到的$\theta$就可以认为是最优解的近似值，即${\theta }^{\ast }$，此时对应的似然$L({\theta }^{\ast })$也近似达到最大值。

迭代逼近优化思想：
总结来说，就是因为前面的对数似然函数的log里有加和项，不能直接通过求偏导令其等于0的方式求解，即求不到解析解，所以就通过这种迭代逼近的方法去得到近似解。

具体实现就是：
求下边界函数$B(\theta |{\theta }_n)$的最大值对应的$\theta$，然后通过不断地迭代，其对数似然$L(\theta )$也在不断增大，直至找到最优解的近似解。

继续看下边界函数：

$$\begin{array}{rl}B(\theta |{\theta }_n)& =L({\theta }_n)+\sum _Z{P}_{{\theta }_n}(Z|Y)log\frac{P_{\theta }(Y|Z)P_{\theta }(Z)}{P_{{\theta }_n}(Z|Y)P_{{\theta }_n}(Y)}\\ & =\sum _Z{P}_{{\theta }_n}(Z|Y)log{P}_{\theta }(Y|Z)P_{\theta }(Z)+\underset{对\theta 来说是常数项}{\underbrace{L({\theta }_n)-\sum _Z{P}_{{\theta }_n}(Z|Y)log{P}_{{\theta }_n}(Z|Y)P_{{\theta }_n}(Y)}}\\ & =Q(\theta |{\theta }_n)+C({\theta }_n)\end{array}$$

即令$Q(\theta |{\theta }_n)=\sum _Z{P}_{{\theta }_n}(Z|Y)log{P}_{\theta }(Y|Z)P_{\theta }(Z)$。

对下边界函数求偏导，后面常数项求导后就会为0。

$Q$函数可以看成是下边界函数$B$函数的简化版。来看一下$Q$函数是什么？

$$Q(\theta |{\theta }_n)=\sum _Z{P}_{{\theta }_n}(Z|Y)log{P}_{\theta }(Y|Z)P_{\theta }(Z)=\sum _Z{P}_{{\theta }_n}(Z|Y)log{P}_{\theta }(Y,Z)$$

其中$\sum _Z{P}_{{\theta }_n}(Z|Y)log{P}_{\theta }(Y,Z)$ 可以看成是$log{P}_{\theta }(Y,Z)$ 以条件概率$P_{{\theta }_n}(Z|Y)$ 为概率 求期望，
即 Expectation w.r.t.$P_{{\theta }_n}(Z|Y)$ ，即$E_{Z|Y}[log{P}_{\theta }(Y,Z)]$，这个期望就是$Q$函数。

$Q$函数的定义

完全数据的对数似然函数$\log P_{\theta }(Y,Z)$关于在给定观测数据$Y$和当前参数${\theta }_n$下对未观测数据$Z$的条件概率分布$P_{{\theta }_n}\left(Z\mid Y\right)$的期望称为Q函数：

$$Q(\theta |{\theta }_n)=E_{Z|Y,{\theta }_n}[log{P}_{\theta }(Y,Z)]$$

EM算法

1.3 算法总结

最大似然因为含有隐变量不好求解，则通过EM方法，求取似然函数的下边界函数，通过迭代的方法，得到最优解的近似解${\theta }^{\ast }$。

对下边界函数$B(\theta |{\theta }_n)$（或者说$Q(\theta |{\theta }_n)$）求偏导，即令$\frac{\partial Q(\theta |{\theta }_n)}{\partial \theta }=0$，得到的最优值${\theta }_{n+1}$变成了第n+1次迭代的参数值，再把参数值带回去，构造出下一次的下边界函数$B(\theta |{\theta }_{n+1})$（或者说$Q(\theta |{\theta }_{n+1})$）…无限逼近真实似然的情况（似然的最大值）。

EM算法是很多机器学习领域算法的基础，比如高斯混合模型参数估计、隐式马尔科夫算法（HMM）等等。

最后：如果本文中出现任何错误，请您一定要帮忙指正，感激~

参考

[1] 统计学习方法（第2版） 李航