【中文分词】最大熵马尔可夫模型MEMM

Xue & Shen '2003 [2]用两种序列标注模型——MEMM (Maximum Entropy Markov Model)与CRF (Conditional Random Field)——用于中文分词；看原论文感觉作者更像用的是MaxEnt (Maximum Entropy) 模型而非MEMM。MEMM是由McCallum et al. '2000 [1]提出MEMM，针对于HMM的两个痛点：一是其为生成模型(generative model)，二是不能使用更加复杂的feature。

1. 前言

首先，将简要地介绍HMM与MaxEnt模型。

HMM

概率图模型(probabilistic graphical model, PGM)指用图表示变量相关(依赖)关系的概率模型，主要分为两类：

• 有向图模型或贝叶斯网(Bayesian network)，使用有向图表示变量间的依赖关系；
• 无向图模型或马尔可夫网(Markov network)，使用无向图表示变量间相关关系。

监督学习的任务就是学习一个模型，对于给定的输入\(X\)，能预测出类别\(Y\)。所学习