EM(Expectation Maximization) 算法

EM(Expectation Maximization)

EM算法是一种极大似然估计算法，当然也可以对EM算法做一定修正后用于最大后验估计，此博文推导EM算法并且修正EM使其用于最大后验估计。

EM

假设观测到的不完整数据集为$\mathbf X$，隐变量表示为$\mathbf Z$, 估计参数为$\theta$, 根据极大似然估计

$$\hat\theta =\mathop{\arg\max}_{\theta}~\log p(\mathbf X|\theta)$$
上式中只涉及到了 $\mathbf X$的分布，我们假设 $\mathbf Z$的分布为 $q(\mathbf Z|\theta)$.
$$L(\theta) =\log p(\mathbf X|\theta)=\sum_{\mathbf Z}q(\mathbf Z|\theta)\log p(\mathbf X|\theta)$$
利用贝叶斯定理
$$L(\theta) =\sum_{\mathbf Z}q(\mathbf Z|\theta)\mathop{\log}p(\mathbf X|\theta)=\sum_{\mathbf Z}q(\mathbf Z|\theta)\mathop{\log}\frac{p(\mathbf X,\mathbf Z|\theta)}{p(\mathbf Z|\mathbf X,\theta)}\\ =\sum_{\mathbf Z}q(\mathbf Z|\theta)\mathop{\log}\{\frac{p(\mathbf X,\mathbf Z|\theta)}{q(\mathbf Z|\theta)}\frac{q(\mathbf Z|\theta)}{p(\mathbf Z|\mathbf X,\theta)}\}\\ =\sum_{\mathbf Z}q(\mathbf Z|\theta)\mathop{\log}\frac{p(\mathbf X,\mathbf Z|\theta)}{q(\mathbf Z|\theta)}\\-\sum_{\mathbf Z}q(\mathbf Z|\theta)\mathop{\log}\frac{p(\mathbf Z|\mathbf X,\theta)}{q(\mathbf Z|\theta)}\\=\mathcal L(q,\theta)+KL(q||p)$$
即
$$L(\theta)= \mathcal L(q,\theta)+KL(q||p)$$
其中 $\mathcal L(q,\theta)$ 和 KL(q||p)分别是，
$$\mathcal L(q,\theta)=\sum_{\mathbf Z}q(\mathbf Z|\theta)\mathop{\log}\frac{p(\mathbf X,\mathbf Z|\theta)}{q(\mathbf Z|\theta)}$$
$$KL(q||p)=-\sum_{\mathbf Z}q(\mathbf Z|\theta)\mathop{\log}\frac{p(\mathbf Z|\mathbf X,\theta)}{q(\mathbf Z|\theta)}$$
在这两个式子中，我们首先需要确定隐变量的概率分布 $q(\mathbf Z|\theta)$,其次我们还需要最大化 $L(\theta)$。利用 $KL(q||p)$散度的性质
$$KL(q||p)\geqq0$$ 当且仅当 $q(\mathbf Z|\theta)=p(\mathbf Z|\mathbf X,\theta)$时，取到等号。
我们有 $$L(\theta)\geqq\mathcal L(q,\theta)$$
所以 $L(q,\theta)$是 $L(\theta)$的下界，我们不直接最大化 $L(\theta)$，相反我们最大化它的下界 $L(q,\theta)$， $L(q,\theta)$是关于q和 $\theta$的函数，我们先关于 $q(\mathbf Z|\theta)$最大化 $L(q,\theta)$,由于 $L(\theta)= \mathcal L(q,\theta)+KL(q||p)$并且 $L(\theta)$和 $q(\mathbf Z|\theta)$无关，所以不管 $q(\mathbf Z|\theta)$如何变化， $L(\theta)$保持不变，所以，为了使得 $L(q,\theta)$最大，那么则应该使得 $KL(q||p)$最小，即 $KL(q||p)=0$，所以有
$$q(\mathbf Z|\theta) = p(\mathbf Z|\mathbf X,\theta)$$
接下来我们还需要关于参数 $\theta$最大化 $L(q,\theta)$,假设我们迭代到了第 $i$ 次，则第 $i+1$ 的参数更新
$$L(q,\theta)=\sum_{\mathbf Z}q(\mathbf Z|\theta^{(i)})\log\frac{p(\mathbf X,\mathbf Z|\theta)}{q(\mathbf Z|\theta^{(i)})}$$
丢掉和 $\theta^{(i)}$有关的量，有
$$L(q,\theta)=\sum_{\mathbf Z}q(\mathbf Z|\theta^{(i)})\log{p(\mathbf X,\mathbf Z|\theta)}+C$$
令
$$Q(\theta,\theta^{(i)})=\sum_{\mathbf Z}q(\mathbf Z|\theta^{(i)})\log{p(\mathbf X,\mathbf Z|\theta)}$$
所以我们只需要最大化函数 $Q(\theta,\theta^{(i)})$即可
$$\theta^{(i+1)}=\mathop{\arg\max}_{\theta}Q(\theta,\theta^{(i)})$$

EM算法流程

• 初始化参数$\theta^{(0)}$和设置迭代次数$I$
  

  • E步
    根据第$i$次估计参数，计算隐变量$\mathbf Z$的分布$q(\mathbf Z|\theta^{(i)})$ $$q(\mathbf Z|\theta^{(i)}) = p(\mathbf Z|\mathbf X,\theta^{(i)})$$
    计算完全数据集的期望
    $$Q(\theta,\theta^{(i)})=\sum_{\mathbf Z}q(\mathbf Z|\theta^{(i)})\log{p(\mathbf X,\mathbf Z|\theta)}$$
  • • M步
      最大化完全数据集的期望$Q(\theta,\theta^{(i)})$,
      $$\theta^{(i+1)}=\mathop{\arg\max}_{\theta}~Q(\theta,\theta^{(i)})$$
    • 如果$i<I$,则回到E步继续迭代，否则就结束。

  
  

  收敛性条件

  除了预先设定迭代次数，也可以设定迭代终止条件。因为$Q(\theta,\theta^{(i)})$会一直增大，如果函数$Q(\theta,\theta^{(i)})$满足下述条件时，可认为EM算法已经收敛到局部最大值
  

  $$|Q(\theta^{(i+1)},\theta^{(i)})-Q(\theta^{(i)},\theta^{(i)})|\leq\epsilon$$ ，其中$\epsilon$是一个很小的大于零的常数。

  最大后验估计

  根据上边的推导有
  

  $$\log p(\mathbf X|\theta)=L(\theta)= \mathcal L(q,\theta)+KL(q||p)$$
  当我们考虑参数$\theta$有先验概率时，根据贝叶斯定理
  $$p(\theta|\mathbf X) = \frac{p(\mathbf X|\theta)p(\theta)}{p(\mathbf X)}$$
  所以有
  $$L(\theta)=\log(\theta|\mathbf X)=\log p(\mathbf X|\theta)+\log p(\theta)-\log p(\mathbf X)\\ = \mathcal L(q,\theta)+KL(q||p)+\log p(\theta)-\log (\mathbf X)\\ \geqq\mathcal L(q,\theta)+\log p(\theta)-\log p(\mathbf X)$$
  同样的思路，我们最大化$L(\theta)$的下界，当$KL(q||p)=0$时，有下界最大，此时
  $$q(\mathbf X|\theta) = p(\mathbf Z|\mathbf X,\theta)$$
  紧接着我们关于参数$\theta$最大化下界$\mathcal L(q,\theta)+\log p(\theta)-\log p(\mathbf X)$,同样地，我们丢掉和参数$\theta$无关的项，可得
  $$\mathcal L(q,\theta)+\log p(\theta)-\log p(\mathbf X)=\sum_{\mathbf Z}p(\mathbf Z|\mathbf X,\theta^{(i)})\log \frac{p(\mathbf X,\mathbf Z|\theta)}{p(\mathbf Z|\mathbf X,\theta^{(i)})}+\log p(\theta)+C_{1}\\= \sum_{\mathbf Z}p(\mathbf Z|\mathbf X,\theta^{(i)})\log p(\mathbf X,\mathbf Z|\theta)+\log p(\theta)+C_{2}\\ =Q(\theta,\theta^{(i)})+C_{2}$$
  所以有
  $$Q(\theta,\theta^{(i)})=\sum_{\mathbf Z}p(\mathbf Z|\mathbf X,\theta^{(i)})\log p(\mathbf X,\mathbf Z|\theta)+\log p(\theta)$$
  所以，在EM算法中，最大后验估计和最大似然估计在E步中，计算$q(\mathbf X|\theta)$没有发生变化，只是$Q(\theta,\theta^{(i)})$中增加了先验信息$\log p(\theta)$.