如何计算给定一个unigram语言模型_N-Gram语言模型初探

语言模型(Language Model,LM)在自然语言处理中占有十分重要的地位，尤其在基于统计的语音识别、机器翻译、分词和 query纠错等相关应用中有着广泛的应用。目前主要采用的是 n 元语法模型(n-gram model)。笔者在工作用中应用到了 query改写和 query 的纠错，均起到了不错的应用效果，本文将从一下几点介绍 n-gram 语言模型。

n-gram 语言模型基本概念

n-gram 语言模型的工具 — kenlm

n-gram 语言模型的应用

一、n-gram 语言模型基本概念

1.1、n-gram 概念

语言模型通常是一句话或者一个词 \(s\) 的概念分布 \(p(s)\)，这里 \(p(s)\) 试图反映的是 \(s\) 出现的概率。例如，一个人说话的每 \(100\) 个句子中大约有 \(10\)句是 “这个需求什么时候上线？”(大概是产品经理👊)，则可以认为:

\[

p(这个需求什么时候上线?)=0.1 \tag{1.1}

\]

而对于句子 “这个需求马上上线！”(大概是程序员🙄)，几乎没有程序员说这样的话，我们认为程序员说这句话的概率为 \(0%=\)。所以需要注意的是，语言模型与句子是否合法是没有相关性的，即使一个句子符合语法逻辑，我们仍然可以认为它出现的概率为 \(0\)，这个概率和你训练模型的数据是相关的。

对于由 \(m\) 个词(这个词可以是字、词或短语等)组成的句子 \(s=w_{1}w_{2}...w_{m}\) ,其概率计算公式为：

\[

\begin{align}

p(s)

&=p(w_{1})p(w_{2}|w_{1})p(w_{3}|w_{1}w_{2})...p(w_{m}|w_{1}...w_{m-1}) \tag{1.2} \\

&=\prod_{i=1}^{m} p(w_{i}|w_{1}...w_{i-1}) \tag{1.3}

\end{align}

\]

1.2、n-gram 的产生

上式中，产生第 \(i\) 个词的概率由已经产生的 \(i-1\) 个词 \(w_{1}w_{2}...w_{i-1}\) 序列 (称作 history)决定的。这种方法计算概率有一个弊端，如果history的长度为 \(i-1\)，那么就有\(L^{l-1}\) 种不同的history(\(L\) 为词表的长度)，我们要计算所有 \(L^{l-1}\) 种不同history情况下产生第 \(i\) 个词的概率，这样的情况下，模型中就有 \(L^{l}\) 个自由参数 \(p(w_{i}|w_{1}...w_{i-1})\)，假设 \(L=5000\)，\(i=3\) 自由参数的数目就是 \(1250\)亿个，这对于我们训练模型和应用模型来说是几乎不可能实现的。为了解决这个问题，可以将history \(w_{1}w_{2}...w_{i-1}\) 序列按照某种法则映射到等价类 \(E(w_{1}w_{2}...w_{i-1})\)，而等价类的数目远远小于不同history的数目，假定：

\[

\beg