机器学习-白板推导系列笔记（十）-EM算法

此文章主要是结合哔站shuhuai008大佬的白板推导视频：EM_100min

全部笔记的汇总贴：机器学习-白板推导系列笔记

一、EM算法简介

假设有如下数据：

$X$:observed data
$Z$:unobserved data(latent variable)
$(X,Z)$:complete data
$\theta$:parameter

EM算法的目的是解决具有隐变量的参数估计（MLE、MAP）问题。EM算法是一种迭代更新的算法，其计算公式为：

$$\begin{gathered} {\theta }^{t+1}=E_{z|x,{\theta }^t}[logp(x,z|\theta )] \\ =\underset{\theta }{\mathrm{argmax}}{\int }_{z}logp(x,z|\theta )\cdot p(z|x,{\theta }^t)\mathrm{d}z \end{gathered}$$

这个公式包含了迭代的两步：

①E-Step：计算$p(x,z|\theta )$在概率分布$p(z|x,{\theta }^t)$下的期望
②S-Step：计算使这个期望最大化的参数得到下一个EM步骤的输入

二、收敛性证明

现在要证明迭代求得的${\theta }^t$序列会使得对应的$p(x|{\theta }^t)$是单调递增的，也就是说要证明$p(x|{\theta }^t)\le p(x|{\theta }^{t+1})$。首先我们有：

$$logp(x|\theta )=logp(x,z|\theta )-logp(z|x,\theta )$$

接下来等式两边同时求关于$p(z|x,{\theta }^t)$的期望：

$$\begin{gathered} 左边={\int }_{z}p(z|x,{\theta }^t)\cdot logp(x|\theta )\mathrm{d}z \\ =logp(x|\theta ){\int }_{z}p(z|x,{\theta }^t)\mathrm{d}z \\ =logp(x|\theta ) \\ 右边=\underset{Q(\theta ,{\theta }^t)}{\underbrace{{\int }_{z}p(z|x,{\theta }^t)\cdot p(x,z|\theta )\mathrm{d}z}}-\underset{H(\theta ,{\theta }^t)}{\underbrace{{\int }_{z}p(z|x,{\theta }^t)\cdot logp(z|x,\theta )\mathrm{d}z}} \end{gathered}$$

因此有：

$$logp(x|\theta )={\int }_{z}p(z|x,{\theta }^t)\cdot p(x,z|\theta )\mathrm{d}z-{\int }_{z}p(z|x,{\theta }^t)\cdot logp(z|x,\theta )\mathrm{d}z$$

这里我们定义了$Q(\theta ,{\theta }^t)$，称为$Q$函数（$Q$ function），这个函数也就是上面的概述中迭代公式里用到的函数，因此满足$Q({\theta }^{t+1},{\theta }^t)\ge Q({\theta }^t,{\theta }^t)$。

接下来将上面的等式两边$\theta$分别取${\theta }^t$和${\theta }^{t+1}$并相减：

$$logp(x|{\theta }^{t+1})-logp(x|{\theta }^t)=[Q({\theta }^{t+1},{\theta }^t)-Q({\theta }^t,{\theta }^t)]-[H({\theta }^{t+1},{\theta }^t)-H({\theta }^t,{\theta }^t)]$$

我们需要证明$logp(x|{\theta }^{t+1})-logp(x|{\theta }^t)\ge 0$，同时已知$Q({\theta }^{t+1},{\theta }^t)-Q({\theta }^t,{\theta }^t)\ge 0$，现在来观察 H ( θ t + 1 , θ t ) − H ( θ t , θ t ) H(\theta ^{t+1},\theta ^{t})-H(\theta ^{t},\theta ^{t}) H(θ