jieba是python的第三方库,使用jieba库需要先安装。jieba是一个中文分词库,可以根据所给的中文句子,提取出可能的词组
jieba库分词依靠词库。利用中文词库,确定汉字之间的关联概率。概率大的组成词组,形成分词效果。除了分词,用户还可以添加自定义的词组
jieba提供了三种分词模式,精确模式、全模式和搜索引擎模式
安装jieba库,在命令行中输入以下语句就可以安装,前提是安装了python和pip
pip install jieba
jieba库常用函数有四个,分别对应三种分词模式和一种向词库添加新词的功能
1、lcut(s)
精确模式,返回一个列表类型的分词结果,不存在冗余词
import jieba
str="世界那么大,我想去看看"
s=jieba.lcut(str)
print(s)
运行结果:
['世界', '那么', '大', ',', '我', '想', '去', '看看']
2、lcut(s,cut_all=True)
全模式,返回一个列表类型分词结果,存在冗余。
import jieba
str="世界那么大,我想去看看"
s=jieba.lcut(str,cut_all=True)
print(s)
运行结果:
['世界', '那么', '大', ',', '我', '想去', '看看']
3、lcut_for_search(s)
搜索引擎模式,返回一个列表类型的分词结果,存在肉哦能够与。是在精确模式的基础上,对长词再次划分
import jieba
str="世界那么大,我想去看看"
s=jieba.lcut_for_search(str)
print(s)
运行结果:
['世界', '那么', '大', ',', '我', '想', '去', '看看']
4、add_word(w)
向分词词典中添加新词w
import jieba
str="世界那么大,我想去看看"
s1=jieba.lcut(str)
print(s1) #添加分词前的分词效果
jieba.add_word('世界那么')
s2=jieba.lcut(str)
print(s2) #添加分词的后的分词效果
运行结果:
['世界',‘那么', '大', ',', '我', '想', '去', '看看']
['世界那么', '大', ',', '我','想','去', '看看']