NLP学习笔记「第二章」2.4Naive Bayes Text Classification（朴素贝叶斯分类）

平滑算法解决的数据的稀疏性的问题

假如，有unigram，bigram，···，Ngram训练数据出现的次数为0。不利于语言模型的计算。

good-turing smoothing就是解决这个问题

Vocab size : $10^4$

#trigrams: $10^{12}$ （所有可能的三元组的概率，一万的四次方）

Data

• total trigrams $10^6$

• Occuring once $7.5\ast 10^5$

• Occuring twice $2\ast 10^5$

• Occuring three times $9\ast 10^4$

• Occuring zero time $10^{12}-10^6\approx 10^{12}$
  $$\begin{array}{rl}r\ast N_r& =C_{r-1}\ast N_{r-1}\\ ⟹C_{r-1}& =\frac{r\ast N_r}{N_{r-1}}\end{array}$$
  意味着将本来没有出现的词，加上了一个概率进行平滑处理。出现次数多的次数拿出来放到出现次数少的词上。

2.5.1 Naive Bayes Text Classification

Input : text document d d = w 1 w 2 w 3 . . . w n d = w_1w_2w_3...w_n d=w