安装
pip install jieba
cut 后返回的是生成器 generator
因为如果返回所有词列表,词数据大时,内存可能占用过大。生成器可以用一个取一个。
使用
词性标注
import jieba.posseg as pseg
words = pseg.cut(strings)
for word, flag in words:
print('%s %s' % (word, flag))
分词
jieba支持四种分词模式:
- 精确模式:试图将句子最精确地切开,只输出最大概率组合;
- 搜索引擎模式:在精确模式基础上,对长词再次切分,提高召回率,适用于搜索引擎分词;
- 全模式:把句子中所有的可以成词的词语都扫描出来;
- paddle模式,利用PaddlePaddle深度学习框架,训练序列标注(双向GRU)网络模型实现分词。同时支持词性标注。