微信公众号:数据皮皮侠如果你觉得该公众号对你有帮助,欢迎关注、推广和宣传
内容目录:机器学习项目实战——新闻分类任务
机器学习项目实战——新闻分类任务数据的读取及预处理删除停用词词云关键字提取LDA: 主题模型贝叶斯分类
机器学习项目实战——新闻分类任务
采用文本数据进行预处理和主题提取,文本数据是CCTV的新闻联播数据。
数据的读取及预处理
import pandas as pd
import numpy as np
import jieba
df_news = pd.read_table(r'...\data\news_data.txt', names=['category', 'theme', 'URL', 'content'], encoding='utf-8')
df_news.head()
预处理数据
# 将内容转换成列表
content = df_news['content'].values.tolist()
# jieba分词
content_S = [] # 分词列表
for line in content:
# jieba.lcut 精确模式。返回列表,建议使用
current_segment = jieba.lcut(line)
if len(current_segment) > 1 and current_segment != '\r\n':
content_S.append(current_segment)
删除停用词
# 读取停用词表
stopwords = pd.read_csv(r'...\data\stopwords.txt', index_col=False, sep