HMM ,MHMM,CRF 优缺点与区别

隐马尔科夫模型（HMM）：

图1. 隐马尔科夫模型

隐马尔科夫模型的缺点：

        1、HMM只依赖于每一个状态和它对应的观察对象：

              序列标注问题不仅和单个词相关，而且和观察序列的长度，单词的上下文，等等相关。

        2、目标函数和预测目标函数不匹配：

              HMM学到的是状态和观察序列的联合分布P(Y,X)，而预测问题中，我们需要的是条件概率P(Y|X)。

 

最大熵隐马尔科夫模型（MEMM）：

 

 

图2. 最大熵马尔科夫模型

        MEMM考虑到相邻状态之间依赖关系，且考虑整个观察序列，因此MEMM的表达能力更强；MEMM不考虑P(X)减轻了建模的负担，同时学到的是目标函数是和预测函数一致。

MEMM的标记偏置问题：

 

 

图3. Viterbi