统计自然语言处理（统计推理：稀疏数据集上的n元语法模型）

概述

统计自然语言处理的目的就是针对自然语言领域进行统计推理。作为一个常用的统计估计的例子，我们将考察经典建模问题，即当前词预测下一个词。词汇预测任务是一项技术可以解决的简单明了的问题。

Bins：构造等价类

利用历史词汇预测词汇，我们构造这样一个模型。模型中所有历史都是前n-1个已经出现的词，那么我们就有一个（n-1）阶马尔可夫模型，或者称N元语法模型。随着n的增加和词表数量的增加，我们把数据划分到太多的类别中，有大量的参数要去估计。所以有一些方法如“词干化”来减小词语表数量，使用2-3元语言模型来预测等。另外还有很多模型能比较好的进行预测，比如我们可以想象如果我们知道句子的主谓宾等一节结构，我们可以基于谓语来识别下一个词。但这里只介绍n元语法模型。

构建n元语法模型

对于n元语法模型的例子，我们感兴趣的是概率P（w1…wn） 和预测任务P(wn | w1….wn-1)

我们可以利用MLE，最大似然估计去预测。