jieba简易教程：分词、词性标注、关键词抽取

jieba分词

“Jieba” (Chinese for “to stutter”) Chinese text segmentation: built to be the best Python Chinese word segmentation module.

特点

1. 支持三种分词模式（默认是精确模式)

• 精确模式，试图将句子最精确地切开，适合文本分析；
• 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
• 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

2. 支持繁体分词
3. 支持自定义词典
4. MIT授权协议

友情链接

• https://github.com/baidu/lac 百度中文词法分析（分词+词性+专名）系统
• https://github.com/baidu/AnyQ 百度FAQ自动问答系统
• https://github.com/baidu/Senta 百度情感识别系统

安装

直接使用pip install jieba进行安装

主要功能

1. 分词

---

• jieba.cut 方法接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型
• jieba.cut_for_search 方法接受两个参数：需要分词的字符串；是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细
• 待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输入 GBK 字符串，可能无法预料地错误解码成 UTF-8
• jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)，或者用
• jieba.lcut 以及 jieba.lcut_for_search 直接返回 list
• jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定义分词器，可用于同时使用不同词典。jieba.dt 为默认分词器，所有全局分词相关函数都是该分词器的映射。

import jieba
segfull_list = jieba.cut("我喜欢中国！", cut_all=True)
print("Full Mode: " + " ".join(segfull_list))  # 全模式

segdef_list = jieba.cut("我喜欢中国!", cut_all=False)
print("Default Mode: " + "  ".join(segdef_list))  # 精确模式

segset_list = jieba.