基于贝叶斯的文本分类实战

http://www.letiantian.me/2015-03-31-bayes-classifier-for-text/

2015-03-31

本文介绍如何使用scikit-learn工具包下的贝叶斯工具进行文本分类。

生成数据集

---

数据集是有8个分类的文本数据集，使用了结巴分词对每个文本分词，每个单词当作特征，再利用二元词串构造更多特征，然后去掉停用词，去掉出现次数太多和太少的特征，得到了19630个特征。取1998个样本用于训练，509个用于测试。基于词袋模型的思路将每个文本转换为向量，训练集和测试集分别转换为矩阵，并用python numpy模块将其保存为npy格式。这个预处理后的数据集保存在了https://github.com/letiantian/dataset-for-classifying。

关于贝叶斯

---

使用朴素贝叶斯分类器划分邮件

朴素贝叶斯的三个常用模型：高斯、多项式、伯努利

导入数据集

---

在https://github.com/letiantian/dataset下载text-classification.7z，解压后导入数据：

$ ls
test_data.npy  test_labels.npy  training_data.npy  training_labels.npy
$ ipython
>>> import numpy as np
>>> training_data = np.load("training_data.npy") >>> training_data.shape (1998, 19630) >>> training_labels = np.load("training_labels.npy") >>> training_labels array([6, 6, 6, ..., 2, 2, 2]) >>> training_labels.shape (1998,) >>> test_data = np.load("test_data.npy") >>> test_data.shape (509, 19630) >>> test_labels = np.load("test_labels.npy") >>> test_labels.shape (509,) 

使用多项式贝叶斯

---

>>> from sklearn.naive_bayes import MultinomialNB
>>> clf =MultinomialNB()
>>> clf.fit(training_data, training_labels) # 训练模型 MultinomialNB(alpha=1.0, class_prior=None, fit_prior=True) >>> predict_labels = clf.predict(test_data) # 预测训练集 >>> sum(predict_labels == test_labels) # 预测对了几个？ 454 >>> len(predict_labels) # 训练样本个数 509 >>> 454./509 # 正确率 0.8919449901768173 # 效果不错 >>> from sklearn.metrics import confusion_matrix >>> confusion_matrix(test_labels, predict_labels) # 混淆矩阵 array([[ 39, 0, 0, 1, 0, 1, 0, 0], [ 0, 32, 1, 0, 0, 4, 0, 1], [ 0, 0, 50, 0, 0, 8, 0, 4], [ 0, 0, 1, 44, 0, 10, 0, 0], [ 1, 0, 0, 0, 66, 0, 0, 1], [ 2, 2, 1, 6, 1, 144, 1, 1], [ 0, 0, 0, 0, 0, 2, 25, 0], [ 0, 0, 1, 2, 2, 1, 0, 54]]) 

使用伯努利贝叶斯

---

>>> from sklearn.naive_bayes import BernoulliNB
>>> clf2 = BernoulliNB()
>>> clf2.fit(training_data, training_labels) # 训练模型 BernoulliNB(alpha=1.0, binarize=0.0, class_prior=None, fit_prior=True) >>> predict_labels = clf2.predict(test_data) # 预测训练集 >>> sum(predict_labels == test_labels) # 预测对了几个？ 387 >>> 387./509 # 正确率 0.7603143418467584 

这个和下面的效果是一样的：

>>> clf2 = BernoulliNB()
>>> clf2.fit(training_data>0, training_labels)
BernoulliNB(alpha=1.0, binarize=0.0, class_prior=None, fit_prior=True) >>> predict_labels = clf2.predict(test_data>0) >>> sum(predict_labels == test_labels) 387 

使用高斯贝叶斯

---

>>> from sklearn.naive_bayes import GaussianNB
>>> clf3 = GaussianNB()
>>> clf3.fit(training_data, training_labels) # 训练模型 GaussianNB() >>> predict_labels = clf3.predict(test_data) # 预测训练集 >>> sum(predict_labels == test_labels) # 预测对了几个？ 375 >>> 375./509 # 正确率 0.7367387033398821