语言模型(总结）

语言模型(总结）

主要总结的内容：n元语法的基本概念

训练语料：用于构建语言模型的文本。(对于n元语法模型，使用的训练语料的规模一般要有几百万个词）
对于n>2的n元语法模型，条件概率中要考虑前面的n-1个词的概率。

句子S中包含L个基元(“基元”可以是字、词、短语等，在这里是“词”), 句子S=W1W2W3****WL , 其中![在这里插入图片
表示词
，约定
到
为, 取
为, 把
称为
的历史。

用于估计概率
的方法称为最大似然估计(maximum likelihood estimation, MLE)。

等式为：
（1-2）

注意：求和表达式
等于计算历史
的数目，两种书写方式等同。

若（1-2）式中，n=2即二元语法模型，用
表示二元语法
在给定文本中的出现次数，

（1-2)可写为：