http://www.letiantian.me/2015-03-31-bayes-classifier-for-text/
2015-03-31
本文介绍如何使用scikit-learn工具包下的贝叶斯工具进行文本分类。
生成数据集
数据集是有8个分类的文本数据集,使用了结巴分词对每个文本分词,每个单词当作特征,再利用二元词串构造更多特征,然后去掉停用词,去掉出现次数太多和太少的特征,得到了19630个特征。取1998个样本用于训练,509个用于测试。基于词袋模型的思路将每个文本转换为向量,训练集和测试集分别转换为矩阵,并用python numpy模块将其保存为npy格式。这个预处理后的数据集保存在了https://github.com/letiantian/dataset-for-classifying。
关于贝叶斯
导入数据集
在https://github.com/letiantian/dataset下载text-classification.7z,解压后导入数据:
$ ls
test_data.npy test_labels.npy training_data.npy training_labels.npy
$ ipython
>>> import numpy as np
>>> training_data = np.load("training_data.npy") >>> training_data.shape (1998, 19630) >>> training_labels = np.load("training_labels.npy") >>> training_labels array([6, 6, 6, ..., 2, 2, 2]) >>> training_labels.shape (1998,) >>> test_data = np.load("test_data.npy") >>> test_data.shape (509, 19630) >>> test_labels = np.load("test_labels.npy") >>> test_labels.shape (509,)
使用多项式贝叶斯
>>> from sklearn.naive_bayes import MultinomialNB
>>> clf =MultinomialNB()
>>> clf.fit(training_data, training_labels) # 训练模型 MultinomialNB(alpha=1.0, class_prior=None, fit_prior=True) >>> predict_labels = clf.predict(test_data) # 预测训练集 >>> sum(predict_labels == test_labels) # 预测对了几个? 454 >>> len(predict_labels) # 训练样本个数 509 >>> 454./509 # 正确率 0.8919449901768173 # 效果不错 >>> from sklearn.metrics import confusion_matrix >>> confusion_matrix(test_labels, predict_labels) # 混淆矩阵 array([[ 39, 0, 0, 1, 0, 1, 0, 0], [ 0, 32, 1, 0, 0, 4, 0, 1], [ 0, 0, 50, 0, 0, 8, 0, 4], [ 0, 0, 1, 44, 0, 10, 0, 0], [ 1, 0, 0, 0, 66, 0, 0, 1], [ 2, 2, 1, 6, 1, 144, 1, 1], [ 0, 0, 0, 0, 0, 2, 25, 0], [ 0, 0, 1, 2, 2, 1, 0, 54]])
使用伯努利贝叶斯
>>> from sklearn.naive_bayes import BernoulliNB
>>> clf2 = BernoulliNB()
>>> clf2.fit(training_data, training_labels) # 训练模型 BernoulliNB(alpha=1.0, binarize=0.0, class_prior=None, fit_prior=True) >>> predict_labels = clf2.predict(test_data) # 预测训练集 >>> sum(predict_labels == test_labels) # 预测对了几个? 387 >>> 387./509 # 正确率 0.7603143418467584
这个和下面的效果是一样的:
>>> clf2 = BernoulliNB()
>>> clf2.fit(training_data>0, training_labels)
BernoulliNB(alpha=1.0, binarize=0.0, class_prior=None, fit_prior=True) >>> predict_labels = clf2.predict(test_data>0) >>> sum(predict_labels == test_labels) 387
使用高斯贝叶斯
>>> from sklearn.naive_bayes import GaussianNB
>>> clf3 = GaussianNB()
>>> clf3.fit(training_data, training_labels) # 训练模型 GaussianNB() >>> predict_labels = clf3.predict(test_data) # 预测训练集 >>> sum(predict_labels == test_labels) # 预测对了几个? 375 >>> 375./509 # 正确率 0.7367387033398821