Python jieba中文分词库基本操作_generator object tokenizer-CSDN博客

本文链接：https://blog.csdn.net/rainbow_bbz/article/details/108294854

jieba是一个强大的Python中文分词库，支持四种分词模式：精确、全、搜索引擎和paddle模式。它还支持繁体分词、自定义词典，并遵循MIT授权协议。主要功能包括分词、添加自定义词典等，适用于文本分析和搜索引擎构建。

摘要由CSDN通过智能技术生成

1.jieba库

中文分词库

2.特点

1.支持四种分词模式：

a.精确模式

试图将句子最精确地切开，适合文本分析.

b.全模式

把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义.

c.搜索引擎模式

在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

d.paddle模式

利用PaddlePaddle深度学习框架，训练序列标注（双向GRU）网络模型实现分词。同时支持词性标注。paddle模式使用需安装paddlepaddle-tiny，pip install paddlepaddle-tiny==1.6.1。目前paddle模式支持jieba v0.40及以上版本。jieba v0.40以下版本，请升级jieba，pip install jieba --upgrade 。PaddlePaddle官网

2.支持繁体分词

3.支持自定义词典

4.MIT 授权协议

3.主要功能

1.分词

jieba.cut(sentence,cut_all,HMM,use_paddle)

可接受四个输入参数:
sentence:待分词的中文句子
cut_all:默认为False，是否启用全模式。
HMM：默认为True，是否使用HMM模型。
use_paddle:默认为False，是否使用paddle模式下的分词。
返回的结构是一个可迭代的 generator。

import jieba
text = '李小福是创新办主任也是云计算方面的专家'
print(jieba.cut(text))
输出：<generator object Tokenizer.cut at 0x03753648>

用for循环输出示例