机器学习——EM算法

EM算法是一种迭代算法，用于含有隐变量（hidden variable）的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望（expcetation）；M步，求极大（maximization）。所以这一算法称为期望极大算法（expectation maximization algorithm），简称EM算法。 EM算法与初值的选择有关，选择不同的初值可能得到不同的参数估计值。EM算法不能保证找到全局最优值。

EM算法

概率模型有时既含有观测变量（observation variable），又含有隐变量或潜在变量（latent variable）。当模型含有隐变量时，就不能简单地使用这些估计方法。EM算法就是含有隐变量模型参数的极大似然估计法，或极大后验概率估计法。

三硬币模型
假设有3枚硬币，分别记作A，B，C，出现的概率分别是$\pi$，$p$和$q$。进行如下掷硬币实验：先掷硬币A，根据其结果选出硬币B或C，正面选硬币B，反面选硬币C，出现正面记作1，反面记作0。
三硬币模型可以写作
$$\begin{gathered} \begin{array}{rl}P(y\mid \theta )& =\sum _{z}P(y,z\mid \theta )=\sum _{z}P(z\mid \theta )P(y\mid z,\theta )\\ & =\pi p^y(1-p{)}^{1-y}+(1-\pi )q^y(1-q{)}^{1-y}\end{array} \\ P(Y\mid \theta )=\prod _{j=1}^n\left[\pi p^{y_j}(1-p{)}^{1-y_j}+(1-\pi )q^{y_j}(1-q{)}^{1-y_j}\right] \\ \hat{\theta }=\arg \underset{\theta }{\max }\log P(Y\mid \theta ) \end{gathered}$$
EM算法首先选取参数的初值，记作${\theta }^{(0)}=\left({\pi }^{(0)},p^{(0)},q^{(0)}\right)$，第i次迭代的参数估计值为${\theta }^{(i)}=\left({\pi }^{(i)},p^{(i)},q^{(i)}\right)$，则第$i+1$次迭代如下：
E步：计算观测数据$y_j$来自掷硬币B的概率
$${\mu }_j^{(i+1)}=\frac{{\pi }^{(i)}{\left(p^{(i)}\right)}^{y_j}{\left(1-p^{(i)}\right)}^{1-y_j}}{{\pi }^{(i)}{\left(p^{(i)}\right)}^{y_j}{\left(1-p^{(i)}\right)}^{1-y_j}+\left(1-{\pi }^{(i)}\right){\left(q^{(i)}\right)}^{y_j}{\left(1-q^{(i)}\right)}^{1-y_j}}$$
M步：计算模型参数的新估计值
$${\pi }^{(i+1)}=\frac{1}{n}\sum _{j=1}^n{\mu }_j^{(i+1)}$$
$p,q$计算同理

EM算法与初值的选择有关，选择不同的初值可能得到不同的参数估计值。用$Y$表示观测随机变量的数据，$Z$表示隐随机变量的数据。$Y$和$Z$连在一起称为完全数据（complete-data），观测数据$Y$又称为不完全数据（incomplete-data）。

EM算法
(1)选择参数的初值${\theta }^{(0)}$
(2)E步：计算
$$\begin{array}{rl}Q\left(\theta ,{\theta }^{(i)}\right)& =E_Z\left[\log P(Y,Z\mid \theta )\mid Y,{\theta }^{(i)}\right]\\ & =\sum _Z\log P(Y,Z\mid \theta )P\left(Z\mid Y,{\theta }^{(i)}\right)\end{array}$$
(3)M步：求使$Q$极大化的$\theta$
$${\theta }^{(i+1)}=\arg \underset{\theta }{\max }Q\left(\theta ,{\theta }^{(i)}\right)$$
(4)重复第(2)步和第(3)步，直到收敛
注：(1)参数的初值可以任意选择，但需注意EM算法对初值是敏感的。(2)每次迭代实际在求$Q$函数及其极大。(3)给出停止迭代的条件，若满足$\Vert {\theta }^{(i+1)}-{\theta }^{(i)}\Vert <{\epsilon }_1\text{ 或 }\Vert Q\left({\theta }^{(i+1)},{\theta }^{(i)}\right)-Q\left({\theta }^{(i)},{\theta }^{(i)}\right)\Vert <{\epsilon }_2$。

EM算法推导

极大化
$$\begin{array}{rl}L(\theta )& =\log P(Y\mid \theta )=\log \sum _{Z}P(Y,Z\mid \theta )\\ & =\log \left(\sum _{Z}P(Y\mid Z,\theta )P(Z\mid \theta )\right)\end{array}$$
考虑新估计值$\theta$能使$L(\theta )$增加，即$L(\theta )>L({\theta }^{(i)})$，并逐步达到极大值，考虑两者的差
$$L(\theta )-L\left({\theta }^{(i)}\right)=\log \left(\sum _{Z}P(Y\mid Z,\theta )P(Z\mid \theta )\right)-\log P\left(Y\mid {\theta }^{(i)}\right)$$
利用Jensen不等式，得到其下界：
$$\begin{array}{rl}L(\theta )-L\left({\theta }^{(i)}\right)& =\log \left(\sum _{Z}P\left(Z\mid Y,{\theta }^{(i)}\right)\frac{P(Y\mid Z,\theta )P(Z\mid \theta )}{P\left(Z\mid Y,{\theta }^{(i)}\right)}\right)-\log P\left(Y\mid {\theta }^{(i)}\right)\\ & ⩾\sum _{Z}P\left(Z\mid Y,{\theta }^{(i)}\right)\log \frac{P(Y\mid Z,\theta )P(Z\mid \theta )}{P\left(Z\mid Y,{\theta }^{(i)}\right)}-\log P\left(Y\mid {\theta }^{(i)}\right)\\ & =\sum _{Z}P\left(Z\mid Y,{\theta }^{(i)}\right)\log \frac{P(Y\mid Z,\theta )P(Z\mid \theta )}{P\left(Z\mid Y,{\theta }^{(i)}\right)P\left(Y\mid {\theta }^{(i)}\right)}\end{array}$$

这里用到的是：$\log {\sum }_j{\lambda }_j{y}_j⩾{\sum }_j{\lambda }_j\log y_j$

令$B\left(\theta ,{\theta }^{(i)}\right)\widehat{=}L\left({\theta }^{(i)}\right)+{\sum }_{Z}P\left(Z\mid Y,{\theta }^{(i)}\right)\log \frac{P(Y\mid Z,\theta )P(Z\mid \theta )}{P\left(Z\mid Y,{\theta }^{(i)}\right)P\left(Y\mid {\theta }^{(i)}\right)}$，则$L(\theta )⩾B\left(\theta ,{\theta }^{(i)}\right)$，即函数$B\left(\theta ,{\theta }^{(i)}\right)$是$L(\theta )$的一个下界。由上式可知$L\left({\theta }^{(i)}\right)=B\left({\theta }^{(i)},{\theta }^{(i)}\right)$。

选择${\theta }^{(i+1)}$使$B\left(\theta ,{\theta }^{(i)}\right)$达到极大，即
$$\begin{array}{rl}{\theta }^{(i+1)}& =\arg \underset{\theta }{\max }B\left(\theta ,{\theta }^{(i)}\right)\\ & =\arg \underset{\theta }{\max }\left(L\left({\theta }^{(i)}\right)+\sum _{Z}P\left(Z\mid Y,{\theta }^{(i)}\right)\log \frac{P(Y\mid Z,\theta )P(Z\mid \theta )}{P\left(Z\mid Y,{\theta }^{(i)}\right)P\left(Y\mid {\theta }^{(i)}\right)}\right)\\ & =\arg \underset{\theta }{\max }\left(\sum _{Z}P\left(Z\mid Y,{\theta }^{(i)}\right)\log (P(Y\mid Z,\theta )P(Z\mid \theta ))\right)\\ & =\arg \underset{\theta }{\max }\left(\sum _{Z}P\left(Z\mid Y,{\theta }^{(i)}\right)\log P(Y,Z\mid \theta )\right)\\ & =\arg \underset{\theta }{\max }Q\left(\theta ,{\theta }^{(i)}\right)\end{array}$$
即求$Q$函数及其极大化。EM算法是通过不断求解下界的极大化逼近求解对数似然函数极大化的算法。

EM算法可以用于生成模型的无监督学习。生成模型由联合概率分布$P(X,Y)$表示，可以认为无监督学习训练数据是联合概率分布产生的数据。$X$为观测数据，$Y$为未观测数据。