N元语法模型

一、N-gram model

 

困惑度 perplexity，用来度量模型与测试集的匹配程度。根据测试集当中的每一个句子的概率计算得到。

从直观上来说，给测试集指派更高概率的模型就是好模型。

 

 

二、N元语法及其对训练语料库的敏感性

1.N元语法，使用N的不同阶的模型来对同一个语料库进行训练。然后随机生成句子。

从直观上来看，不同N阶语法随机生成的句子中，词和词的联系度随着阶数提高而提升，并且更像训练用的语料库的文体。

同一个N阶语法，用两个不同的训练，然后分别随机生成句子。可以看到二者的句子几乎不出现重叠和覆盖

因此不同的语料库用N-gram训练出的模型，往往在与训练语料库文体相同的测试语料库得到的结果好，在文体不同的测试语料库表现不好。

进行一般性研究时，通常使用平衡的语料库，包含不同的文体和不同的领域，例如包含 BROWN英语语料库和英国国家语料库

 

封闭词汇 closed vocabulary,测试集和训练集出现的单词都只在这个词表中。 事实上这种情况非常少

未知词 unknown words或者是表外词 out of vocabulary 。在测试集出现的表外词的百分比为表外词率 OOV rate

在开放词汇的系统中。我们要给测试集加上一个伪词pseudo-word 给潜在的未知词建模，未知词模型<UNK>

第一种在训练集中给未知词建模：

1、选择一个确定的词表，这个词表即已知的词汇集

2.在文本归一化中，把训练集没有出现的单词用<UNK>词例表示

3.像计算其他的常规单词一样，计算<UNK>在训练集中的概率

另一种不选择确定的词表，但是在训练集种用词例<UNK>代替单词每一次出现的“型” type