jieba是一个功能十分强大的中文分词库
一般长用的分词方法有俩种模式:全模式、精确模式
str = '中国科学院,我想去北京故宫博物馆!'
# 全模式
all = ' '.join(jieba.cut(str,cut_all=True))
#精确模式
acc = ' '.join(jieba.cut(str,cut_all=False))
print(all)
中国 中国科学院 科学 科学院 学院 我 想去 北京 北京故宫 故宫 博物 博物馆
print(acc)
中国科学院 , 我 想 去 北京故宫 博物馆 !
使用哪一种模式由cut_all属性决定,默认是精确模式。cut()方法返回的是一个可迭代的对象
还有一种是搜索引擎模式 是个词就会分出来
all = ' '.join(jieba.cut_for_search(str))
print(all)
中国 科学 学院 科学院 中国科学院 , 我 想 去 北京 故宫 北京故宫 博物 博物馆 !
下面介绍lcut()方法,它返回的是一个列表,效果和精确模式基本一致
print(jieba.lcut(str))
['中国科学院', ',', '我', '想', '去', '北京故宫', '博物馆', '!']
以上就是jieba的基本分词方法。如果效果不理想可以尝试添加适合于自己所要分词情景的字典。