统计语言模型与 NLP 算法设计

一、统计语言模型概念

简单的说，统计语言模型是用来计算句子中某种语言模式出 现概率的统计模型。一般自然语言的统计单位是句子，所以也看作句子的概率模型。

二、语言模型公式

注意：

 是一个句子，

是一个句子中n个词

指后一个词与前面一个词的关系

 

假设一个长度为 n 的句子，位置 k 的词出现的概率与其前面的所有的词都相关，也就是说与它前面的 k-1 个词都相关，其 语言模型可以表示为

利用贝叶斯公式得到：

 当有一个能够容纳所有语言现象的语料库，即统计样本足够大时， 就变 为表达形式：  

如果一种语言现象出现的概率与它的 n-1 个词相关，而与其前面 n 个词和后面的词都

无关，那么这就是一个 n-gram 语言模型。

 

 

 

总结起来， n-gram 模型的注意工作是在模型的训练阶段，统计语料中各种语言模式(比 如词汇)出现的次数，并通过一定的统计算法，将它们计算好之后就存储起来。在预测阶段， 当需要计算一个新的句子的概率时，只需查找到句子中可能出现的语言模型的概率参数，并 将它们连乘起来即可得到最终的结果。

这是 NLP 算法的通用策略，这里涉及两个问题，1，如何设计语言模型，2，如何求解 算法策略。几乎所有的 NLP 实践都是围绕着这两个问题展开的