【代码模版】加载自定义词典、去停用词分词、词性标注、词频统计

最新推荐文章于 2024-05-27 17:04:28 发布

不停下脚步的乌龟

最新推荐文章于 2024-05-27 17:04:28 发布

阅读量1k

点赞数

分类专栏： NLP 文章标签： python nlp 自然语言处理

本文链接：https://blog.csdn.net/weixin_44680262/article/details/104790176

版权

# 加载自定义词典(直到退出程序前自定义词典都有效)import jiebajieba.load_userdict('dict_path（txt）')# 去停用词分词方法一：使用jieba.analyse加载停用词表并分词# 该方法同时完成去停用词、分词、计算tf-idf值并按重要性大小输出结果（默认输出tf-idf排名前20的词）from jieba import analyse a...

摘要由CSDN通过智能技术生成

# 加载自定义词典(直到退出程序前自定义词典都有效)
import jieba
jieba.load_userdict('dict_path（txt）')

# 去停用词分词方法一：使用jieba.analyse加载停用词表并分词
# 该方法同时完成去停用词、分词、计算tf-idf值并按重要性大小输出结果（默认输出tf-idf排名前20的词）
from jieba import analyse as ana
ana.set_stop_words('stopwords_path(txt)')
ana.extract_tags(txt)

# 去停用词分词方法二：基于函数的去停用词分词
# 生成停用词表
with open('stopwords_path(txt)'

最低0.47元/天解锁文章

不停下脚步的乌龟

关注

0
点赞
踩
12

收藏

觉得还不错? 一键收藏
打赏
0
评论
【代码模版】加载自定义词典、去停用词分词、词性标注、词频统计

# 加载自定义词典(直到退出程序前自定义词典都有效)import jiebajieba.load_userdict('dict_path（txt）')# 去停用词分词方法一：使用jieba.analyse加载停用词表并分词# 该方法同时完成去停用词、分词、计算tf-idf值并按重要性大小输出结果（默认输出tf-idf排名前20的词）from jieba import analyse a...
复制链接

扫一扫