概述
统计自然语言处理的目的就是针对自然语言领域进行统计推理。作为一个常用的统计估计的例子,我们将考察经典建模问题,即当前词预测下一个词。词汇预测任务是一项技术可以解决的简单明了的问题。
Bins:构造等价类
利用历史词汇预测词汇,我们构造这样一个模型。模型中所有历史都是前n-1个已经出现的词,那么我们就有一个(n-1)阶马尔可夫模型,或者称N元语法模型。随着n的增加和词表数量的增加,我们把数据划分到太多的类别中,有大量的参数要去估计。所以有一些方法如“词干化”来减小词语表数量,使用2-3元语言模型来预测等。另外还有很多模型能比较好的进行预测,比如我们可以想象如果我们知道句子的主谓宾等一节结构,我们可以基于谓语来识别下一个词。但这里只介绍n元语法模型。
构建n元语法模型
对于n元语法模型的例子,我们感兴趣的是概率P(w1…wn) 和预测任务P(wn | w1….wn-1)
我们可以利用MLE,最大似然估计去预测。