一、N-gram model
困惑度 perplexity,用来度量模型与测试集的匹配程度。根据测试集当中的每一个句子的概率计算得到。
从直观上来说,给测试集指派更高概率的模型就是好模型。
二、N元语法及其对训练语料库的敏感性
1.N元语法,使用N的不同阶的模型来对同一个语料库进行训练。然后随机生成句子。
从直观上来看,不同N阶语法随机生成的句子中,词和词的联系度随着阶数提高而提升,并且更像训练用的语料库的文体。
同一个N阶语法,用两个不同的训练,然后分别随机生成句子。可以看到二者的句子几乎不出现重叠和覆盖
因此不同的语料库用N-gram训练出的模型,往往在与训练语料库文体相同的测试语料库得到的结果好,在文体不同的测试语料库表现不好。
进行一般性研究时,通常使用平衡的语料库,包含不同的文体和不同的领域,例如包含 BROWN英语语料库和英国国家语料库
封闭词汇 closed vocabulary,测试集和训练集出现的单词都只在这个词表中。 事实上这种情况非常少
未知词 unknown words或者是表外词 out of vocabulary 。在测试集出现的表外词的百分比为表外词率 OOV rate
在开放词汇的系统中。我们要给测试集加上一个伪词pseudo-word 给潜在的未知词建模,未知词模型<UNK>
第一种在训练集中给未知词建模:
1、选择一个确定的词表,这个词表即已知的词汇集
2.在文本归一化中,把训练集没有出现的单词用<UNK>词例表示
3.像计算其他的常规单词一样,计算<UNK>在训练集中的概率
另一种不选择确定的词表,但是在训练集种用词例<UNK>代替单词每一次出现的“型” type