NLP系列(5)_从朴素贝叶斯到N-gram语言模型

作者： 龙心尘 && 寒小阳
时间：2016年2月。
出处：
http://blog.csdn.net/longxinchen_ml/article/details/50646528
http://blog.csdn.net/han_xiaoyang/article/details/50646667
声明：版权所有，转载请联系作者并注明出处

##1. 引言：朴素贝叶斯的局限性

我们在之前文章《NLP系列(2)_用朴素贝叶斯进行文本分类(上)》探讨过，朴素贝叶斯的局限性来源于其条件独立假设，它将文本看成是词袋子模型，不考虑词语之间的顺序信息，就会把“武松打死了老虎”与“老虎打死了武松”认作是一个意思。那么有没有一种方法提高其对词语顺序的识别能力呢？有，就是本节要接到的N-gram语言模型。

##2. N-gram语言模型是啥？

2.1从假设性独立到联合概率链规则

照抄我们前文垃圾邮件识别中的条件独立假设，长这个样子：

$P(（“我”,“司”,“可”,“办理”,“正规发票”,“保真”,“增值税”,“发票”,“点数”,“优惠”)|S)$
$=P(“我”|S)\times P(“司”|S)\times P(“可”|S)\times P(“办理”|S)\times P(“正规发票”|S)$
$\times P(“保真”|S)\times P(“增值税”|S)\times P(“发票”|S)\times P(“点数”|S)\times P(“优惠”|S)$

为了简化起见，我们以字母$x_i$表示每一个词语，并且先不考虑条件“S”。于是上式就变成了下面的独立性公式。

$P(x_1,x_2,x_3,x_4,x_5,x_6,x_7,x_8,x_9,x_{10})$
$=P(x_1)P(x_2)P(x_3)P(x_4)P(x_5)P(x_6)P(x_7)P(x_8)P(x_9)P(x_{10})$
$=P(“我”)P(“司”)P(“可”)P(“办理”)...P(“优惠”)$

如果不满足独立性假设，上面的等号就不成立。 那么有没有一个不依赖于任何其他的假设，而能够原原本本地把所有的语序信息都考虑进来的恒等式呢？有，它就是联合概率链规则(chain rule) ：

$P(x_1,x_2,x_3,x_4,x_5,\dots ,x_n)$
$=P(x_1)P(x_2|x_1)P(x_3|x_1,x_2)...P(x_n|x_1,x_2,...,x_{n-1})$

2.2 从联合概率链规则到n-gram语言模型

上面的联合概率链规则公式虽然考虑到了所有的词和词之间的依赖关系，但是非常复杂，在实际生活中几乎没办法使用，于是我们就想了很多办法去近似这个公式，效果又要求比独立性假设好。比如我们要讲到的语言模型n-gram就是一个这样的简化。

如果我们考虑一个词语对上一个词语的依赖关系，公式就简化成了如下形式，我们把它叫做二元语法（bigram，2-gram）:

$P(x_1,x_2,x_3,x_4,x_5,x_6,x_7,x_8,x_9,x_{10})$
$=P(x_1)P(x_2$