统计语言模型

语言模型是描述自然语言内在规律的数学模型。语言模型可分为传统的文法型语言模型和基于统计的语言模型。

文法型语言模型的文法规则来源于语言学知识，但这种语言模型不能处理大规模真实文本。

基于统计的语言模型通常是概率模型，借助统计语言模型的概率参数，可以估计出自然语言中每个句子出现的可能性，而不是简单判断该句子是否符合文法。常用的统计语言模型，有N元文法模型(N-gram)、隐马尔科夫模型(HMM)、最大熵模型(MEM)。

统计语言模型

该模型对于任何一个语句都给出出现的概率，并不要求语句在语法上是完备的。

假定词是一个句子的最小的结构单位，并假设一个语句s由词w1，w2，...，wn组成，那么p(s)可由公式1计算：