EM算法小结

序

EM算法主要包含两个变量：隐变量$Z$和模型参数$\theta$，分别在E步和M步中进行迭代优化。隐变量$Z$可以是数据缺失的特征或者是主题变量等。

公式推导：

定义：$X$–观察数据；$Z$–隐变量；$\theta$–模型参数。

最大化目标函数来优化$Z$和$\theta$：

$$\begin{equation} \ln p(X|\theta) \end{equation}$$
需要用到公式：
$$\begin{equation} p(X, Z| \theta) = p(Z|X, \theta) \cdot p(X|\theta) \end{equation}$$

推导：

$$\begin{equation} \begin{split} &\ln p(X|\theta) = \sum_Z q(Z) \ln p(X|\theta)= \sum_Z q(Z) \ln \frac{p(X, Z| \theta)}{p(Z|X, \theta)}\\ &=\sum_Z q(Z) \ln \frac{p(X, Z| \theta)}{p(Z|X, \theta)} \cdot \frac{q(Z)}{q(Z)}\\ &=\sum_Z q(Z) \ln \frac{p(X, Z| \theta)}{q(Z)} - \sum_Z q(Z) \ln \frac{p(Z|X, \theta)}{q(Z)}\\ \end{split} \end{equation}$$
定义：
$$\begin{equation} \begin{split} &\mathcal{L}(q, \theta) = \sum_Z q(Z) \ln \frac{p(X, Z| \theta)}{q(Z)}\\ &KL(q\parallel p) = - \sum_Z q(Z) \ln \frac{p(Z|X, \theta)}{q(Z)} \geq 0 \\ \end{split} \end{equation}$$

分析：

为了最大化$\ln p(X|\theta)$，迭代优化$q(Z)$和$\theta$。当$\theta$固定时，$\ln p(X|\theta)$也就确定了，与$q(Z)$的具体取值无关。

E步：固定$\theta$，调整$q(Z)$来最大化$\ln p(X|\theta)$的下界$\mathcal{L}(q, \theta)$，即最小化KL距离。使$q(Z)$ 尽量接近于后验概率$p(Z|X, \theta)$。

M步：固定$q(Z)$，调整$\theta$来最大化下界$\mathcal{L}(q, \theta)$。$\theta$改变之后$KL(q\parallel p)$也会增大，从而整个目标函数$\ln p(X|\theta)$变大。