贝叶斯新闻分类（二）

最新推荐文章于 2022-05-19 15:02:34 发布

小糖姜爱学习

最新推荐文章于 2022-05-19 15:02:34 发布

阅读量223

点赞数 1

分类专栏：文本分类

本文链接：https://blog.csdn.net/weixin_41745696/article/details/96866062

版权

该博客介绍了如何详细地将新闻分类过程分为两步：首先生成词频向量，然后转换为TF-IDF向量。通过使用TfidfVectorizer，实现了MultinomialNB分类器的训练。

摘要由CSDN通过智能技术生成

前面（一）中用一种简化的方式是直接使用TfidfVectorizer来生成TF-IDF向量，这里我们按照一般的方式将生成TF-IDF向量分成两个步骤：1.生成词频向量. 2.生成TF-IDF向量。最后我们开始训练我们的MultinomialNB分类器。
TfidfVectorizer 将原始文档的集合转换为tf - idf特性的矩阵，

相当于CountVectorizer配合TfidfTransformer使用的效果

TfidfVectorizer类将CountVectorizer和TfdfTransformer类封装在一起

下面是1.生成词频向量. 2.生成TF-IDF向量。的代码

#划分训练集和测试集
from sklearn.model_selection import train_test_split
df_train = pd.read_csv('news_clean.csv')
X_train, X_test, y_train, y_test = train_test_split(df_train['contents_clean'].values,df_train['label'].values,random_state=1)
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.naive_bayes import MultinomialNB

count_vect = CountVectorizer(analyzer='word',max_features=1000,lowercase=False)
X_train_counts = count_vect.fit_transform(X_train)
# print(X_tr