jieba分词用法介绍

最新推荐文章于 2024-04-06 12:15:00 发布

nht1996

最新推荐文章于 2024-04-06 12:15:00 发布

阅读量655

点赞数

文章标签： nlp 中文分词 jieba

本文链接：https://blog.csdn.net/nht1996/article/details/90208202

版权

jieba分词库支持精确、全和搜索引擎模式，适用于文本分析和搜索引擎。它包含自定义词典功能，能进行关键词抽取（如TF-IDF和TextRank算法），并提供词性标注和并行分词。jieba还支持繁体分词和MIT授权协议。

摘要由CSDN通过智能技术生成

特点

支持三种分词模式:
- 精确模式，试图把句子最精确地切开，适合文本分析；
- 全模式，把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义；
- 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
支持繁体分词
支持自定义词典
MIT授权协议

算法

基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图(DAG)
采用了动态规划查找最大概率路径，找出基于词频的最大切分组合
对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法

主要功能

分词

jieba.cut方法接受三个输入参数:需要分词的字符串；cut_all参数用来控制是否采用全模式；HMM参数用来控制是否使用HMM模型
jieba.cut_for_search方法接受两个参数：需要分词的字符串；是否使用HMM模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细
待分词的字符串可以是unicode或UTF-8字符串、GBK字符串。但不建议直接输入GBK字符串，可能无法预料地错误解码成UTF-8
jieba.cut以及jieba.cut_for_search直接返回list
jieba.lcut以及jieba.lcut_for_search直接返回list
jieba.Tokenizer(dictionary=DEFAULT_DICT)新建自定义分词器，可用于同时使用不同词典。jieba.dt为默认分词器，所有全局分词相关的函数都是该分词器的映射。

代码示例

import jieba

seg_list = jieba.cut("我来到中国科学院大学",cut_all=True)
print("【全模式】："+"/".join(seg_list))

seg_list = jieba.cut("我来到中国科学院大学", cut_all=False)
print("【默认模式】: " + "/ ".join(seg_list))  # 精确模式

seg_list = jieba.cut