beautifulsoup爬取百度新闻 朴素贝叶斯实现新闻类型分类（二）

beautifulsoup爬取百度新闻，方法参见之前的方案

https://blog.csdn.net/weixin_41044499/article/details/94382539

整理如下：

将新闻预语料做结巴分词，skilearn的feature_extration方法将每个词向量化，放入朴素贝叶斯模型进行训练，观察军事、汽车、娱乐三类文本的分类效果

# !/usr/bin/python
# -*- coding:utf-8 -*-

import pandas as pd
from sklearn.model_selection import train_test_split

data = pd.read_excel('learning.xlsx', encoding='utf-8')

from sklearn.feature_extraction.text import CountVectorizer
cv = CountVectorizer()
cv_fit = cv.fit_transform(data['新闻内容'])
print(cv_fit.shape)
x_train,x_test,y_train,y_test = train_test_split(cv_fit,data['新闻类型'])
from sklearn.naive_bayes import  MultinomialNB
classifier = MultinomialNB()
classifier.fit(x_train,y_train)
y_test_prediction = classifier.predict(x_test)
for m,n in zip(y_test_prediction,y_test):
    print("预测类别：{0},真实类别：{1}".format(m,n))
print("准确率：",sum(y_test_prediction == y_test)/len(y_test))

训练结果如下：

预测类别：0,真实类别：0
预测类别：0,真实类别：0
预测类别：0,真实类别：0
预测类别：0,真实类别：0
预测类别：0,真实类别：0
预测类别：0,真实类别：0
预测类别：0,真实类别：0
预测类别：2,真实类别：2
预测类别：2,真实类别：2
预测类别：2,真实类别：2
预测类别：0,真实类别：0
预测类别：1,真实类别：1
预测类别：1,真实类别：1
预测类别：0,真实类别：0
预测类别：1,真实类别：0
预测类别：1,真实类别：1
预测类别：0,真实类别：0
预测类别：1,真实类别：0
预测类别：0,真实类别：0
预测类别：0,真实类别：0
预测类别：2,真实类别：2
预测类别：0,真实类别：1
预测类别：0,真实类别：0
预测类别：0,真实类别：0
准确率： 0.875

发现尽管数据量很小，只有100条新闻，但总体的预测准确率还是很高的。尽管朴素贝叶斯的理论基于文本间的相互独立，但实践证明，有监督的分类比LDA要准确很多。