【自然语言处理】-jieba库学习笔记(二)

jieba三种分词方法

精确模式

精确模式将句子最精确的切分开，每个词都只有一种含义。

import jieba
seg_list1=jieba.cut("人生最宝贵的是生命，人生最需要的是学习，人生最愉快的是工作，人生最重要的是友谊。",cut_all=False)
print("Default Mode:"+"/".join(seg_list1))

Default Mode:人生/最/宝贵/的/是/生命/，/人生/最/需要/的/是/学习/，/人生/最/愉快/的/是/工作/，/人生/最/重要/的/是/友谊/。

全模式

全模式把句子中所有的可以成词的词语都扫描出来, 会出现一词多用、一词多意。

seg_list2=jieba.cut("我来自长沙某高校，是一名平平无奇的大学一年级的好学生。",cut_all=True)
print("Full Mode:"+"/".join(seg_list2))

Full Mode:我/来自/长沙/某/高校/，/是/一名/平平/无奇/的/大学/一年/一年级/年级/的/好学/学生/。

搜索引擎模式

搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

seg_list3=jieba