lda新闻主题提取_机器学习项目实战——新闻分类任务

本文是机器学习项目实战,聚焦新闻分类任务。通过CCTV新闻联播数据,进行数据预处理,包括删除停用词、词云生成、关键字提取,运用LDA进行主题建模,并利用贝叶斯分类进行文本分类。CountVectorizer和TfidfVectorizer分别用于特征提取,后者更注重有意义的特征挖掘。
摘要由CSDN通过智能技术生成

微信公众号:数据皮皮侠如果你觉得该公众号对你有帮助,欢迎关注、推广和宣传

内容目录:机器学习项目实战——新闻分类任务

机器学习项目实战——新闻分类任务数据的读取及预处理删除停用词词云关键字提取LDA: 主题模型贝叶斯分类

机器学习项目实战——新闻分类任务

采用文本数据进行预处理和主题提取,文本数据是CCTV的新闻联播数据。

数据的读取及预处理
import pandas as pd
import numpy as np
import jieba
df_news = pd.read_table(r'...\data\news_data.txt', names=['category', 'theme', 'URL', 'content'], encoding='utf-8')
df_news.head()

预处理数据

# 将内容转换成列表
content = df_news['content'].values.tolist()
# jieba分词
content_S = []  # 分词列表
for line in content:
    # jieba.lcut 精确模式。返回列表,建议使用
    current_segment = jieba.lcut(line) 
    if len(current_segment) > 1 and current_segment != '\r\n':
        content_S.append(current_segment)
删除停用词
# 读取停用词表
stopwords = pd.read_csv(r'...\data\stopwords.txt', index_col=False, sep
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值