如何计算给定一个unigram语言模型_深入浅出讲解语言模型

深入浅出讲解语言模型

1

什么是语言模型呢？

简单地说，语言模型就是用来计算一个句子的概率的模型，也就是判断一句话是否是人话的概率？

那么如何计算一个句子的概率呢？给定句子(词语序列)

它的概率可以表示为：

可是这样的方法存在两个致命的缺陷：

參数空间过大：条件概率P(wn|w1,w2,..,wn-1)的可能性太多，无法估算，不可能有用；

数据稀疏严重：对于非常多词对的组合，在语料库中都没有出现，依据最大似然估计得到的概率将会是0。

2

马尔科夫假设

为了解决參数空间过大的问题。引入了马尔科夫假设：随意一个词出现的概率只与它前面出现的有限的一个或者几个词有关。

如果一个词的出现与它周围的词是独立的，那么我们就称之为unigram也就是一元语言模型：

如果一个词的出现仅依赖于它前面出现的一个词，那么我们就称之为bigram：

假设一个词的出现仅依赖于它前