nlp基础—6.EM算法

一、EM算法

  EM算法是一种迭代算法，EM算法的每次迭代由两步组成：E步，求期望；M步：求极大。EM算法就是在含有隐变量的概率模型中寻找参数极大似然估计的算法，其中概率模型依赖于无法观测的隐性变量。EM算法经过两个步骤交替进行计算：
首先，初始化待估计的值

• 第一步是计算期望(E)），利用迭代参数估计值，计算其极大似然估计值;
• 第二步极大化(M），极大化在E步上求得极大似然估计值来计算参数的值。

M步上找到的参数估计值被用于下一个E步计算中，这个过程不断交替进行。
  下面介绍EM算法。

EM算法只能保证每次迭代都比上一次得到的要好，但不能保证得到全局最优解。
  EM算法的缺点：

1. 不能保证全局收敛
2. 参数的初值可以任意选取，EM算法对初值是敏感的

EM算法的优点：迭代过程简单直接