jieba中文处理[分词、关键词抽取（TF-IDF 算法）(TextRank 算法)]_CodingPark编程公园

最新推荐文章于 2022-06-29 15:43:50 发布

TEAM-AG

最新推荐文章于 2022-06-29 15:43:50 发布

阅读量1.2w

点赞数 1

分类专栏：自然语言处理文章标签：自然语言处理

版权由TEAM-AG团队所有

本文链接：https://blog.csdn.net/weixin_38411989/article/details/105434216

版权

本文介绍了jieba中文处理工具的使用，包括分词、关键词抽取（TF-IDF和TextRank算法）、自定义词典的添加以及在搜索引擎中的应用。通过实例展示了jieba在全模式、精确模式、搜索引擎模式下的分词效果，并演示了如何使用HMM模型进行自定义词典的添加。同时，文章还讨论了基于TF-IDF和TextRank的关键词抽取方法。

摘要由CSDN通过智能技术生成

文章介绍

jieba是一个非常好用的中文工具，是以分词起家的，但是功能比分词要强大很多。
本文讲述 jieba 的一些用法包括：分词、关键词抽取（TF-IDF 算法）(TextRank 算法)等

知识扩充

jieba支持繁体字
比jieba更准确更高端的库：NLPIR
工业界自然语言处理库：spaCy

知识讲解

import jieba

'''
<h1>        分词        </h1>
'''

'''
📒
jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)

jie