本文探讨了N-gram模型在语言建模中的应用，通过困惑度评估模型与测试集的匹配程度。N元语法的阶数影响着生成句子的连贯性，高阶模型更接近训练语料库的文体。训练语料库的差异会导致模型在特定文体测试集上的性能变化。此外，封闭词汇和未知词处理在开放词汇系统中至关重要，通常采用<UNK>标记来建模未知词。在实际应用中，平衡的语料库和有效的未知词处理策略能提高模型的泛化能力。
一、N-gram model
困惑度 perplexity，用来度量模型与测试集的匹配程度。根据测试集当中的每一个句子的概率计算得到。
从直观上来说，给测试集指派更高概率的模型就是好模型。
二、N元语法及其对训练语料库的敏感性
1.N元语法，使用N的不同阶的模型来对同一个语料库进行训练。然后随机生成句子。
从直观上来看，不同N阶语法随机生成的句子中，词和词的联系度随着阶数提高而提升，并且更像训练用的语料库的文体。
同一个N阶语法，用两个不同的训练，然后分别随机生成句子。可以看到二者的句子几乎不出现重叠和覆盖
因此不同的语料库用N-gram训练出的模型，往往在与训练语料库文体相同的测试语料库得到的结果好，在文体不同的测试语料库表现不好。
进行一般性研究时，通常使用平衡的语料库，包含不同的文体和不同的领域，例如包含 BROWN英语语料库和英国国家语料库
封闭词汇 closed vocabulary,测试集和训练集出现的单词都只在这个词表中。 事实上这种情况非常少
未知词 unknown words或者是表外词 out of vocabulary 。在测试集出现的表外词的百分比为表外词率 OOV rate
在开放词汇的系统中。我们要给测试集加上一个伪词pseudo-word 给潜在的未知词建模，未知词模型<UNK>
第一种在训练集中给未知词建模：
1、选择一个确定的词表，这个词表即已知的词汇集
2.在文本归一化中，把训练集没有出现的单词用<UNK>词例表示
3.像计算其他的常规单词一样，计算<UNK>在训练集中的概率
另一种不选择确定的词表，但是在训练集种用词例<UNK>代替单词每一次出现的“型” type
扫一扫
1329
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
