贝叶斯④——Sklean新闻分类（CountVectorizer&TfidfTransformer&TfidfVectorizer）

最新推荐文章于 2024-07-31 17:31:47 发布

数据小斑马

最新推荐文章于 2024-07-31 17:31:47 发布

阅读量2.9k

点赞数 7

分类专栏：贝叶斯文章标签：贝叶斯文本分类 tf-idf矩阵 fetch_20newsgroups分类 CountVectorizer/TfidfTransformer 贝叶斯多项式模型

本文链接：https://blog.csdn.net/cindy407/article/details/93777413

版权

本文介绍了如何使用Sklearn的CountVectorizer和TfidfTransformer进行文本预处理，以及如何结合贝叶斯多项式模型对20 newsgroups数据集进行文本分类。数据集包含18000篇新闻文章，共20个类别。通过TfidfVectorizer直接计算TF-IDF矩阵，简化文本处理流程，最终在训练和测试集上实现了良好的分类效果。

摘要由CSDN通过智能技术生成

贝叶斯机器学习系列：
贝叶斯①——贝叶斯原理篇（联合概率&条件概率&贝叶斯定理&拉普拉斯平滑)
贝叶斯②——贝叶斯3种分类模型及Sklearn使用（高斯&多项式&伯努利）
贝叶斯③——Python实现贝叶斯文本分类（伯努利&多项式模型对比）
贝叶斯⑤——搜狗新闻分类实战（jieba + TF-IDF + 贝叶斯）
贝叶斯⑥——银行借贷模型（贝叶斯与决策树对比）

一、数据集介绍

20 newsgroups数据集18000篇新闻文章，一共涉及到20种话题，所以称作20 newsgroups text dataset，分文两部分：训练集和测试集，通常用来做文本分类。sklearn提供了该数据的接口：sklearn.datasets.fetch_20newsgroups

二、数据集调用

from sklearn.datasets import fetch_20newsgroups
import numpy as np

categories = ['alt.atheism', 'soc.religion.christian', 'comp.graphics', 'sci.med']
train_data = fetch_20newsgroups(subset='train', shuffle=True, categories=categories,random_state=42) # subset可以选择train(训练集），test(测试集),all(所有数据集）
print(train_data.data)  # train_data返回是一个含有数据，类别和类别名称的词典，通过data,target,target_name键可以分别输出

三、文本处理

常用的文本处理方式有两种：

1、 CountVectorizer + TfidfTransformer

① CountVectorizer： 将分词后的文本转化成词频矩阵，就是先将训练样本所有的单词都输入到一个词典中，然后统计每一篇文档每个词出现的次数来作为文档的向量，通过CountVectorizer().fit_transform()实现

常用的4个方法：
CountVectorizer().get_feature_names()：获得特征名称
CountVectorizer().vocabulary_：获得词典及对应的位置下标
CountVectorizer().fit_transform(data): 获得词频的稀疏矩阵表示
CountVectorizer().fit_transform(data).toarray(): 获得词频的正常矩阵表示

② TfidfTransformer：根据词频计算TF-IDF 权重矩阵，这里解释下TF-IDF:
TF: 词频，统计每个词在文档中出现的频率，一般是用