EM算法原理及其在NLP中的应用

EM算法是一种迭代算法，全称为期望极大算法（expectation maximization algorithm），用于含有隐变量（hidden variable）的概率模型参数的极大似然估计，或极大后验概率估计。

一、EM算法的原理

EM算法
输入：观测变量数据Y，隐变量数据Z，联合分布P(Y,Z|θ)，条件分布P(Z|Y,θ)；
输出：模型参数θ
（1）选择参数的初值θ⁰，开始迭代；
（2）E步：记θⁱ为第i次迭代参数θ的估计值，在第i+1次迭代的E步，计算

这里，P(Z|Y,θⁱ)是在给定观测数据Y和当前的参数估计θⁱ下隐变量数据Z的条件概率分布；
（3）M步：求使Q(θ,θⁱ)极大化的θ，确定第i+1次迭代的参数的估计值θⁱ⁺¹

（4）重复第（2）步和第（3）步，直到收敛。
其中，函数Q(θ,θⁱ)是EM算法的核心，称为Q函数（Q function），是完全数据的对数似然函数logP(Y,Z|θ)关于在给定观测数据Y和当前参数θⁱ下对未知观测数据Z的条件概率分布P(Z|Y,θⁱ)的期望，即

EM算法与初值的选择有关，选择不同的初值可能得到不同的参数估计值。

二、EM算法在NLP自动文本分