EM算法系列--原理

本系列通过如下两部分来讲解EM算法：

1. EM算法的原理

2. EM算法实际应用--HMM

EM算法原理

EM算法全称是 最大期望算法（Expectation-Maximization algorithm, EM），是一类通过迭代进行极大似然估计（Maximum Likelihood Estimation, MLE）的优化算法 ，通常作为牛顿迭代法（Newton-Raphson method）的替代用于对包含隐变量（latent variable）或缺失数据（incomplete-data）的概率模型进行参数估计 [2-3]  。

EM算法的标准计算框架由E步（Expectation-step）和M步（Maximization step）交替组成，算法的收敛性可以确保迭代至少逼近局部极大值 [4]  。EM算法是MM算法（Minorize-Maximization algorithm）的特例之一，有多个改进版本，包括使用了贝叶斯推断的EM算法、EM梯度算法、广义EM算法等 。

给定相互独立的观测数据、隐变量Z、参数的概率模型，根据MLE理论，参数的最优单点估计在模型的似然取极大值时给出：