python 食品_[准确率:98%] 改进朴素贝叶斯自动分类食品安全新闻

这是本系列第二篇文章，位于源代码的 2. NB_Weights 中:

https://github.com/Ckend/NLP_DeepLearning_CN_Tutorial

前一篇文章中，我们学习了如何使用朴素贝叶斯自动分类食品安全新闻，准确率为97%，这一篇文章将教大家如何改进这个模型。阅读本篇文章之前，建议先阅读前一篇文章：[准确率:97%] 朴素贝叶斯自动分类食品安全新闻，否则有些概念可能无法理解。

在那篇文章中，在训练的时候，朴素贝叶斯模型中所有词语都是相同的权重，而事实上真的如此吗？我们怎么样才可以知道哪些词语更加重要呢？这时候，数理统计就派上用场了。

我们先对所有的食品安全新闻和非食品安全新闻使用结巴(jieba)分词, 然后统计各个词性在这分别在这两个类别中的数量，比如说名词的结果如下表(使用SPSS得到，其他词性就不一一展示了)，显然食品安全新闻中名词的数量多于非食品安全新闻，这也是在人意料之中的结果，但是这并不代表着对于食品安全新闻，名词的重要性就大于其他的词性：

那么如何确定各个词性对分类的重要性呢？单纯根据频率和频数确定是比较复杂的，我们可以尝试使用我们的模型，比如说，先得到一个基准的准确值，然后尝试去除掉名词得到一个准确值，观察这两个准确值的差距，如果非常大，说明名词具有比较重要的地位。我们可以试一下：

在所有词性权重都为1的情况下(基准)进行训练，准确率为：