5 文本主题与分类之主题分类 --- 机器学习 --- 小白

Irain_Luo

于 2020-04-27 22:30:39 发布

阅读量3k

点赞数 1

分类专栏： # Machine Learning # NLP 文章标签：机器学习

本文链接：https://blog.csdn.net/weixin_42122125/article/details/105801120

版权

本文介绍了中文自然语言处理中的关键词提取技术，包括基于TF-IDF和TextRank算法的方法，并探讨了LDA主题模型在文本分析中的应用，提供了代码示例和资源链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

中文自然语言处理分析（引用大神成果）

作者：Irain
QQ：2573396010
微信：18802080892
百度云盘文件：(链接：https://pan.baidu.com/s/1Ym_1iLYSzTIZ-ajNFad_kA
提取码：hlyo)
视频链接：文本主题与分类

1 关键词提取

1.1 基于 TF-IDF 算法的关键词抽取

import jieba.analyse
jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
◾sentence 为待提取的文本
◾topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20
◾withWeight 为是否一并返回关键词权重值，默认值为 False
◾allowPOS 仅包括指定词性的词，默认值为空，即不筛选

import jieba.analyse as analyse
import pandas as pd
df = pd.read_csv("./data/technology_news.csv", encoding='utf-8')
df = df.dropna()
lines=df.content.values.tolist()
content = "".join(lines)
print "  ".join(analyse.extract_tags(content, topK=30, withWeight=False, allowPOS=()))

在这里插入图片描述

import jieba.analyse as analyse
import pandas as pd
df = pd.read_csv("./data/military_news.csv",

最低0.47元/天解锁文章