【李航统计学习笔记】第九章：EM算法

9.1 导论

三硬币模型

假设我们有随机变量$z$（观测不到的数据）：$z\sim b(1,\pi )$。针对一系列样本$\left(z_1,y_1\right)\left(z_2,y_2\right)\dots \dots \left(z_N,y_N\right)$，满足

• 若$z_1=1,y_1\sim b(1,p)$
• 若$z_1=0,y_1\sim b(1,q)$

如果$(z,y)$是完全数据，则有$p(y,z)=p(z)\cdot p(y\mid z)$。

如果$y$是不完全数据（观测数据），则有
$$\begin{gathered} \prod _{i=1}^{\mathrm{N}}p\left(y_i\mid \theta \right)=\prod _{i=1}^{\mathrm{N}}\left[\sum _{z}p\left(y_i,z\mid \theta \right)\right]=\prod _{i=1}^{\mathrm{N}}[\pi p^{y_i}(1-p{)}^{1-y_i}+(1-\pi )q^{y_i}(1-q{)}^{1-y_i} \\ \Rightarrow p(y,z\mid \theta ),\max \left(\ln \prod _{i=1}^{N}p\left(y_i,z_i\mid \theta \right)\right) \end{gathered}$$

• E步：$z_i\to E(z)\to {\theta }^{(i)},y_i$
• M步: ${\theta }^{(i+1)}=\underset{\theta }{\mathrm{argmax}}\ln {\prod }_{i=1}^N\left(p_i,E(z)\mid \theta \right)$

算法的引入

EM算法步骤

输入: 观测变量数据 $Y$, 隐变量数据 $Z$, 联合分布 $P(Y,Z\mid \theta )$, 条件分布 $P(Z\mid Y,\theta )$;

输出 : 模型参数 $\theta$ 。

(1) 选择参数的初值 ${\theta }^{(0)}$, 开始迭代 ;

(2) $E$ 步 : 记 ${\theta }^{(i)}$ 为第 $i$ 次迭代参数 $\theta$ 的估计值, 在第 $i+1$ 次迭代的 $E$ 步, 计算 $Q\left(\theta ,{\theta }^{(i)}\right)=E_Z\left[\log P(Y,Z\mid \theta )\mid Y,{\theta }^{(i)}\right]$

(3) $M$ 步 : 求使 $Q\left(\theta ,{\theta }^{(i)}\right)$ 极大化的 $\theta$, 确定第 $i+1$ 次迭代的参数的估计值 ${\theta }^{(i+1)}$ ${\theta }^{(i+1)}={\mathrm{argmax}}_{\theta }Q\left(\theta ,{\theta }^{(i)}\right)$

(4) 重复第 (2) 步和第（3）步，直到收敛。 $Q\left({\theta }^{(i+1)},{\theta }^{(i)}\right)\leftarrow Q\left({\theta }^{(i)},{\theta }^{(i-1)}\right)$

式 (9.9)的函数 $Q\left(\theta ,{\theta }^{(i)}\right)$ 是 $EM$ 算法的核心，称为 $Q$ 函数（ $Q$ function）

定理9.1

设 $P(Y\mid \theta )$ 为观测数据的似然函数， ${\theta }^{(i)}(i=1,2,\dots )$ 为 $EM$ 算法得到的参数估计序列，$P\left(Y\mid {\theta }^{(i)}\right)(i=1,2，\dots )$ 为对应的似然函数序列，则 $P\left(Y\mid {\theta }^{(i)}\right)$ 是单调递增的，即
$$P\left(Y\mid {\theta }^{(i+1)}\right)\ge P\left(Y\mid {\theta }^{(i)}\right)$$

定理2

设 $L(\theta )=\log P(Y\mid \theta )$ 为观测数据的对数似然函数， ${\theta }^{(i)}(i=1,2,\dots )$ 为
$EM$ 算法得到的参数估计序列， $L\left({\theta }^{(i)}\right)(i=1,2,\dots )$ 为对应的对数似然函数序列。
(1) 如果 $P(Y\mid \theta )$ 有上界，则 $L\left({\theta }^{(i)}\right)=\log P\left(Y\mid {\theta }^{(i)}\right)$ 收敛到某一值 $L$ ；
(2) 在函数 $Q\left(\theta ,{\theta }^{\prime }\right)$ 与 $L(\theta )$ 满足一定条件下，由 $EM$ 算法得到的参数估计序列 ${\theta }^{(i)}$ 的收敛值 $\theta$ 是 $L(\theta )$ 的稳定点。

总结

1. EM算法通过迭代求解观测数据的对数似然函数的极大化，实现极大似然估计。
2. EM的极大似然估计中包含两个步骤：E步求期望和M步求极大。
3. EM算法在每次迭代后均提高观测数据的似然函数值。

9.2 EM算法的导出

$$\begin{array}{rl}L(\theta )=\ln P(Y\mid \theta )& =\ln \sum _{Z}P(Y,Z\mid \theta )=\ln \left(\sum _{Z}P(Z\mid \theta )P(Y\mid Z,\theta )\right)\\ L(\theta )-L\left({\theta }^{(i)}\right)& =\ln \left(\sum _{Z}P(Z\mid \theta )P(Y\mid Z,\theta )\right)-\ln P\left(Y\mid {\theta }^{(i)}\right)\\ & =\ln \left(\sum _{Z}P\left(Z\mid Y,{\theta }^{(i)}\right)\frac{P(Z\mid \theta )P(Y\mid Z,\theta )}{P\left(Z\mid Y,{\theta }^{(i)}\right)}\right)-\ln P\left(Y\mid {\theta }^{(i)}\right)\\ & \sum _{Z}P\left(Z\mid Y,{\theta }^{(i)}\right)\ln \left(\frac{P(Z\mid \theta )P(Y\mid Z,\theta )}{P\left(Z\mid Y,{\theta }^{(i)}\right)}\right)-\sum _{Z}P\left(Z\mid Y,{\theta }^{(i)}\right)\ln P\left(Y\mid {\theta }^{(i)}\right)\\ & =\sum _{Z}P\left(Z\mid Y,{\theta }^{(i)}\right)\ln \left(\frac{P(Z\mid \theta )P(Y\mid Z,\theta )}{P\left(Z\mid Y,{\theta }^{(i)}\right)P\left(Y\mid {\theta }^{(i)}\right)}\right)\end{array}$$

然后我们有
$$\begin{array}{rl}{\theta }^{(i+1)}& =\underset{\theta }{\mathrm{argmax}}B\left(\theta ,{\theta }^{(i)}\right)\\ & =\underset{\theta }{\mathrm{argmax}}\sum _{Z}P\left(Z\mid Y,{\theta }^{(i)}\right)(\ln P(Z\mid \theta )P(Y\mid Z,\theta ))\\ & =\underset{\theta }{\mathrm{argmax}}\sum _{Z}P\left(Z\mid Y,{\theta }^{(i)}\right)(\ln P(Y,Z\mid \theta ))\end{array}$$
最后
$$\underset{\theta }{\mathrm{argmax}}Q\left(\theta ,{\theta }^{(i)}\right)$$

总结

1. EM算法通过迭代逐步近似极大化L。
2. 为了每次都能够极大化 $L$ ，需保证每个步骤中 $L(\theta )-$ $L\left({\theta }^{(i)}\right)$ 大于0。
3. 通过找到当前 $L(\theta )-L\left({\theta }^{(i)}\right)$ 的下界，不断提高该下界即可。

9.3 高斯混合模型

(to be continue )