贝叶斯-新闻分类的实现

最新推荐文章于 2022-12-13 15:06:18 发布

关关雎鸠儿

最新推荐文章于 2022-12-13 15:06:18 发布

阅读量266

点赞数 1

分类专栏：机器学习

本文链接：https://blog.csdn.net/weixin_42260102/article/details/103551693

版权

本文介绍了如何利用贝叶斯算法进行新闻分类。首先，从搜狗资源获取数据，接着使用结巴分词器进行文本分词和清洗。然后通过TF-IDF方法提取关键词，再应用LDA主题模型。最后，详细阐述了如何运用贝叶斯算法对新闻进行有效分类，并给出了具体实例。

摘要由CSDN通过智能技术生成

import pandas as pd
import jieba
#pip install jieba

数据源：

http://www.sogou.com/labs/resource/ca.php

df_news = pd.read_table('./data/val.txt',names=['category','theme','URL','content'],encoding='utf-8')
df_news = df_news.dropna()
df_news.head()

在这里插入图片描述

df_news.shape

在这里插入图片描述

分词：使用结吧分词器

# 结吧分词器要求使用list格式
content = df_news.content.values.tolist()
print (content[1000])

在这里插入图片描述
进行分词：

content_S = []
for line in content:
    current_segment = jieba.lcut(line)
    if len(current_segment) > 1 and current_segment != '\r\n': #换行符
        content_S.append(current_segment)

content_S[1000]

在这里插入图片描述

df_content=pd.DataFrame({
   'content_S':content_S})
df_content.head()

在这里插入图片描述
清洗

stopwords=pd.read_csv("stopwords.txt",index_col=False,sep="\t",quoting=3,names=['stopword'], encoding='utf-8')
stopwords.head(20)

在这里插入图片描述

def drop_stopwords(contents,stopwords):
    contents_clean = []
    all_words = []
    for line in contents:
        line_clean = []
        for word in line:
            if word in stopwords:
                continue
            line_clean.append(word)
            all_words.append(str