EM算法

EM算法是一种通过观测到的数据，找到含潜在分布的参数的最大似然估计(MLE,Maximum Likelihood Estimate)的通用方法。一般我们称观测到的数据是incomplete的，或有missing values。

那EM算法如果要成功得到MLE，需要将不可观测的complete data和incomplete data联系起来，这样complete data可以被未知参数的函数所描述，MLE求解也变的简单。

EM框架中，我们通常将$\log p(\mathbf{X} \mid \theta)$称为不完全对数似然（incomplete log data likelihood)，而$\log\ p(\mathbf{X},\mathbf{Z}|\theta)$称为完全对数似然(complete log data likelihood )，EM算法的目标是通过最大化完全对数似然找到参数的合理估计。然而由于我们对隐变量一无所知，因此没办法直接最大化完全对数似然，替代方案是最大化完全对数似然的后验数学期望，这里先给出该算法的参数迭代更新式：

$$\theta^{(g+1)} = \arg\max_{\theta} \int_{\mathbf{Z}} log \ p(\mathbf{X},\mathbf{Z}|\theta)\cdot p(\mathbf{Z}|\mathbf{X},\theta^{(g)}) d\mathbf{Z} \qquad(1)$$

公式推导和解释

求参数$\theta$的最大似然：

$$\theta^{MLE}=arg\max_\theta(L(\theta))=arg\max_\theta(log[p(\mathbf{X}\mid \theta)])$$
需要一些trick，上面公式中的 $\mathbf{Z}$成为模型的latent variable
要证明Eq(1)的EM迭代公式是有效的，那么就需要确保
$$\log p(\mathbf{X}\mid \theta^{(g+1)}) \geqslant \log p(\mathbf{X}\mid \theta^{(g)})$$
使得最终结果收敛。
所以先看如下证明，已知：
$$\log p(\mathbf{X}| \theta)=\log p(\mathbf{X},\mathbf{Z}|\theta)-\log p(\mathbf{Z}|\mathbf{X},\theta)\qquad (2)$$
Eq(2)式子两边同时对分布 $p(\mathbf{Z}|\mathbf{X},\theta^{(g)})$在latent变量 $\mathbf{Z}$上求积分。
$$左边=\int_{\mathbf{Z}}\log p(\mathbf{X}|\theta)p(\mathbf{Z}|\mathbf{X},\theta^{(g)})d\mathbf{Z}=\log p(\mathbf{X}|\theta)$$
$$右边=\underbrace{\int_{\mathbf{Z}}\log p(\mathbf{X},\mathbf{Z}|\theta)p(\mathbf{Z}|\mathbf{X},\theta^{(g)})d\mathbf{Z}}_{Q(\theta,\theta^{(g)})} -\underbrace{\int_{\mathbf{Z}}\log p(\mathbf{Z}|\mathbf{X},\theta)p(\mathbf{Z}|\mathbf{X},\theta^{(g)})d\mathbf{Z}}_{H(\theta,\theta^{(g)})}$$
其中Q的形式和Eq(1)是一样的，如果参数从 $\theta^{(g)}$迭代到 $\theta^{(g+1)}$，那么 $Q(\theta,\theta^{(g+1)})\geqslant Q(\theta,\theta^{(g)})$，那么为什么最大化这个Q就可以保证Eq(2)的左边也能增大呢，如果要确保这个关系就需要证明 $H(\theta,\theta^{(g+1)})\leqslant H(\theta,\theta^{(g)})$
我们知道第g次迭代的时候， $\theta^{(g)}$使得H值取到最大，即

argmaxθH(θ,θ(g))=argmaxθ∫Zlogp(Z|X,θ)p(Z|X,