统计学习方法——EM算法及其推广（一）

EM算法及其推广（一）

EM算法（期望极大算法）是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计。主要包含两步：

• E步：求期望
• M步：求极大

EM算法引入

概率模型有时既含有观测变量，又含有隐变量（潜在变量）。

EM算法

• 输入：观测变量数据$Y$，隐变量数据$Z$，联合分布$P\left(Y,Z|\theta \right)$，条件分布$P\left(Z|Y,\theta \right)$
• 输出：模型参数$\theta$
• 流程：
  • 选择参数的初始化${\theta }_{\left(0\right)}$，开始迭代
  • E步：记${\theta }_{\left(i\right)}$为第$i$次迭代参数$\theta$的估计值，在第$i+1$次迭代的E步，计算
    $$Q\left(\theta ,{\theta }^{\left(i\right)}\right)=E_Z\left[\log P\left(Y,Z|\theta \right)|Y,{\theta }^{\left(i\right)}\right]=\sum _Z\log P\left(Y,Z|\theta \right)P\left(Z|Y,{\theta }^{\left(i\right)}\right)$$
    其中$P\left(Z|Y,{\theta }^{\left(i\right)}\right)$是在给定观测数据$Y$和当前的参数估计${\theta }_{\left(i\right)}$下隐变量数据$Z$的条件概率分布。
  • M步：求使$Q\left(\theta ,{\theta }^{\left(i\right)}\right)$最大化的$\theta$，确定第$i+1$次迭代的参数的估计值${\theta }_{\left(i+1\right)}$
    $${\theta }_{\left(i+1\right)}=\arg \underset{\theta }{\max }Q\left(\theta ,{\theta }^{\left(i\right)}\right)$$
  • 重复上面两步直到收敛，一般是：
    ∥ θ ( i + 1 ) − θ ( i ) ∥ < ε 1 \left\| { {\theta ^{\left( {i + 1} \right)}} - {\theta ^{\left( i \right)}}} \right\| < {\varepsilon _1}