背景介绍
N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作,形成了长度是N的字节片段序列。
每一个字节片段称为gram,对所有gram的出现频度进行统计,并且按照事先设定好的阈值进行过滤,形成关键gram列表,也就是这个文本的向量特征空间,列表中的每一种gram就是一个特征向量维度。
该模型基于这样一种假设,第N个词的出现只与前面N-1个词相关,而与其它任何词都不相关,整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。常用的是二元的Bi-Gram和三元的Tri-Gram。
公式计算
Bigram
对于bigram模型,单词出现的概率只与前一个词有关,即 P ( w i ∣ w i − 1 ) P(w_i |w_{i-1}) P(wi∣wi−1),整个句子的联合概率为: P ( S ) = ∏ i = 1 m P ( w i ∣ w i − 1 ) P\left ( S \right )=\prod_{i=1}^{m} P \left ( w_i | w_{i-1} \right ) P(S)=i=1∏mP(wi∣wi−1)
对于每个词出现的概率 P ( w i ∣ w i − 1 ) P(w_i |w_{i-1}) P(wi∣wi−1)可以用最大似然估计法:
P ( w i ∣ w i − 1 ) = C ( w i − 1 , w i ) C ( w i − 1 ) P\left ( w_i |w_{i-1} \right )=\frac{C \left ( w_{i-1} , w_i \right )}{C \left ( w_{i-1} \right )} P(wi∣wi−1)=C(wi−1)C(w