自然语言处理之ngram模型

背景介绍

N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。

每一个字节片段称为gram，对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间，列表中的每一种gram就是一个特征向量维度。

该模型基于这样一种假设，第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。常用的是二元的Bi-Gram和三元的Tri-Gram。

公式计算

Bigram

对于bigram模型，单词出现的概率只与前一个词有关，即$P(w_i|w_{i-1})$，整个句子的联合概率为：$$P\left(S\right)=\prod _{i=1}^{m}P\left(w_i|w_{i-1}\right)$$
对于每个词出现的概率$P(w_i|w_{i-1})$可以用最大似然估计法：
$$P\left(w_i|w_{i-1}\right)=\frac{C(w}{C\left(w_{i-1}\right)}$$