Michael collins nlp课程笔记（四）MEMMS(Log-Linear Tagging Models)

目录

 

一、条件标注模型的定义

 二、Trigram MEMMs

2.1 模型定义

 2.2 参数估计

 2.3 解码

pdf链接:http://www.cs.columbia.edu/~mcollins/fall2014-loglineartaggers.pdf

一、条件标注模型的定义

 二、Trigram MEMMs

2.1 模型定义

对我们所要建模的条件概率进行分解，有：

在Trigram MEMMs中，做了一个重要的假设： 。在这个假设中，可以看到第i个tag的历史信息是

。 

接下来，基于历史信息和标签构造特征。特征的构造方法类似于Log-Linear中提到的一组指示函数。只是对于不同的标注问题，我们可以根据需要哪些信息来设计不同的指示函数。例如，在词性标注问题中，可以设计如下特征： 

在POS tagging problem里面，常用的特征有word/tag features，Prefix and Suffix features，Trigram，Bigram and Unigram Tag features等等。 

设计好特征后，就可以利用Log-Linear的思想得到下面的概率模型：

 整个流程可以描述为：

 2.2 参数估计

参数估计依然使用Log-Linear中极大似然估计和正则化结合的方式。

 2.3 解码

在估计完参数之后，我们的模型也就建立起来了，接下来要解决的问题是如何快速地找到。利用维特比算法可以快速求解。算法如下：