【期末复习向】n元gram的应用

参数估计 

当 n =1 时， 即出现 在 第 i 位 上 的基 元 w i 独 立于 历 史 。 一元文法也 被 写 为 uni-gram 或 monogram；

当 n =2 时 , 2-gram ( bi-gram ) 被称 为 1 阶 马 尔 可夫 链；

当 n =3 时 , 3-gram( tri-gram ) 被称为 2 阶马尔 可 夫 链 ， 依 次类推。

例如：

给定句子 ： John read a book

增加标记 ： <BOS> John read a book <EOS>

一元 ： <BOS>, John, read, a, book, <EOS

二元：(<BOS>John), (John read), (read a),  (a book), (book <EOS>)

三元：(<BOS>John read), (John read a),  (read a book), (a book <EOS>

基于2元文法的概率是：

p(John read a book) =

p(John |<BOS>)× p(read|John)× p(a|read)×  p(book|a)× p( <EOS>|book)

 n元文法的应用：1.音字转换2.汉字分词等。

一个常考的应用：求句子的概率。会给定几个句子，对其进行分词后，重新给定一个句子求其出现的概率。

例如给定上面的句子，求一个新的句子“他是研究生物的”出现概率。那么解决这种问题的步骤：

1.分别统计几个句子分词后每个词出现的次数

2.把新的句子分词后求概率：

P(s) = P(他|<*BOS*>)P(是|他）P(研究|是)P(生物|研究）P(的|生物）P(<*EOS*>|的)

 3.根据2元文法模型，计算每个概率。计算方法是前一个词在后一个词出现的基础上出现的次数/后一个词出现的总次数。

P(s) = P(他|<*BOS*>)P(是|他）P(研究|是)P(生物|研究）P(的|生物）P(<*EOS*>|的)

= 3/6 * 1/4 * 2/3 * 3/4 * 3/5 * 3/4

 数据平滑-加1法

有时训练数据较少容易导致零概率的问题，如下图，句子的概率为0。

而所谓的加1法就是所有概率中，分母加上总的词汇量，分子加1，如下图：