【自然语言处理】最大熵马尔可夫模型

有任何的书写错误、排版错误、概念错误等，希望大家包含指正。

由于这部分的参考资料比较少，网上大部分资料重复且不完整，对于一些关键计算没有推导，所以这里我主要讨论几篇论文和讲义。但是这些论文和讲义之间也有些许差别，讨论的过程中我会加入自己的理解，难免存在错误，欢迎大家讨论。

最大熵马尔可夫模型

最大熵马尔可夫模型（maximum-entropy Markov model，MEMM）又称为条件马尔可夫模型（conditional Markov model，CMM）。单纯顾名思义的话，可能会认为最大熵马尔可夫模型是最大熵模型与马尔可夫模型的融合，但其实，它结合了最大熵模型和隐马尔可夫模型（HMM）的共同特点，被广泛应用于序列标注问题。

模型介绍与对比

我们的讨论是以观测与状态是一对一关系为前提，而不考虑多个观测对应一个状态的情况，比如：Yellow River 被认为是一个专有名词，而不是一个形容词和一个名词。

先对比 MEMM 与 HMM。二者的概率图如下。

图 1    HMM (上)和满足一阶马尔可夫性质的 MEMM (下)

图