python jieba库的使用

阿勉要睡觉（原神启动版）

已于 2022-04-01 16:52:24 修改

阅读量211

点赞数 2

文章标签： python

于 2022-03-29 11:17:32 首次发布

本文链接：https://blog.csdn.net/m0_61903191/article/details/123802393

版权

jieba是优秀的中文分词第三方库

-中文文本需要通过分词获得单个的词语

-jieba是优秀的中文分词第三方库，需要额外安装

-jieba库提供三种分词模式，最简单只需要掌握一个函数

（cmd命令行) pip install jieba

pip inatall jieba

jieba分词依靠中文词库

-利用一个中文词库，确定汉字之间的关联概率

-汉字间概率大的组成词组，形成分词结果

-除了分词，用户还可以添加自定义的词组

精确模式、全模式、搜索引擎模式

-精确模式：把文本精确的切分开，不存在冗余单词

-全模式：把文本中所有可能的词语都扫描出来，有冗余

-搜索引擎模式：在精确模式基础上，对长词再次切分

函数	描述
jieba.lcut(s)	精确模式返回一个列表类型的分词结果 >>>jieba.lcut("中国是一个伟大的国家") ['中国','是','一个','伟大','的','国家']
jieba.lcut(s,cut_all=Ture)	全模式，返回一个列表类型的分词结果，存在冗余 >>>jieba.lcut("中国是一个伟大的国家",cut_all=Ture) ['中国','国是','一个','伟大','的','国家']
jieba.lcut_for_search(s)	搜索引擎模式，返回一个列表类型的分词结果，存在冗余 >>>jieba.lcut_for_search("中华人民共和国是伟大的") ['中华','华人','人民','共和','共和国','中华人民共和国','是','伟大','的']
jieba.add_word(w)	向分词词典增加新词w >>>jieba.add_word("蟒蛇语言")