lda新闻主题提取_机器学习项目实战——新闻分类任务

微信公众号：数据皮皮侠如果你觉得该公众号对你有帮助，欢迎关注、推广和宣传

内容目录：机器学习项目实战——新闻分类任务

机器学习项目实战——新闻分类任务数据的读取及预处理删除停用词词云关键字提取LDA: 主题模型贝叶斯分类

机器学习项目实战——新闻分类任务

采用文本数据进行预处理和主题提取，文本数据是CCTV的新闻联播数据。

数据的读取及预处理

import pandas as pd
import numpy as np
import jieba
df_news = pd.read_table(r'...\data\news_data.txt', names=['category', 'theme', 'URL', 'content'], encoding='utf-8')
df_news.head()

预处理数据

# 将内容转换成列表
content = df_news['content'].values.tolist()
# jieba分词
content_S = []  # 分词列表
for line in content:
    # jieba.lcut 精确模式。返回列表，建议使用
    current_segment = jieba.lcut(line) 
    if len(current_segment) > 1 and current_segment != '\r\n':
        content_S.append(current_segment)

删除停用词

# 读取停用词表
stopwords = pd.read_csv(r'...\data\stopwords.txt', index_col=False, sep