中文分词jieba

首先引入jieba和例句

import jieba
content = "自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。"

精确分词

将句子最精确地分开，是默认分词。

segs_1 = jieba.cut(content, cut_all=False)
print("/".join(segs_1))

自然语言/处理/是/计算机科学/领域/与/人工智能/领域/中/的/一个/重要/方向/。

全模式

将所有可能的词语的都扫描出来，速度快，但不能解决歧义。

segs_2 = jieba.cut(content, cut_all=True)
print("/".join(segs_2))

自然/自然语言/语言/处理/是/计算/计算机/计算机科学/算机/科学/领域/与/人工/人工智能/智能/领域/中/的/一个/重要/方向//

搜索引擎模式

在精确分词的基础上，对长词再次切分，提高召回率，适用于搜索引擎分词。

segs_3 = jieba.cut_for_search(content)
print("/".join(segs_3))

自然/语言/自然语言/处理/是/计算/算机/科学/计算机/计算机科学/领域/与/人工/智能/人工智能/领域/中/的/一个/重要/方向/。

用 lcut 生成 list

jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 Generator，可以使用 for 循环来获得分词后得到的每一个词语（Unicode）。jieba.lcut 对 cut 的结果做了封装，用 jieba.lcut_for_search 也直接返回 list 集合。

segs_4 = jieba.lcut(content)
print(segs_4)

[‘自然语言’, ‘处理’, ‘是’, ‘计算机科学’, ‘领域’, ‘与’, ‘人工智能’, ‘领域’, ‘中’, ‘的’, ‘一个’, ‘重要’, ‘方向’, ‘。’]

获取词性

import jieba.posseg as psg
print([(x.word, x.flag) for x in psg.lcut(content)])

[(‘自然语言’, ‘l’), (‘处理’, ‘v’), (‘是’, ‘v’), (‘计算机科学’, ‘n’), (‘领域’, ‘n’), (‘与’, ‘p’), (‘人工智能’, ‘n’), (‘领域’, ‘n’), (‘中’, ‘f’), (‘的’, ‘uj’), (‘一个’, ‘m’), (‘重要’, ‘a’), (‘方向’, ‘n’), (’。’, ‘x’)]

获取分词结果中词列表的 top n

from collections import Counter
top5 = Counter(segs_4).most_common(5)
print(top5)

[(‘领域’, 2), (‘自然语言’, 1), (‘处理’, 1), (‘是’, 1), (‘计算机科学’, 1)]

自定义添加词和字典

jieba.add_word("自然语言处理")
print(jieba.lcut(content))

[‘自然语言处理’, ‘是’, ‘计算机科学’, ‘领域’, ‘与’, ‘人工智能’, ‘领域’, ‘中’, ‘的’, ‘一个’, ‘重要’, ‘方向’, ‘。’]

添加大量的词汇，通常需要用到字典。

jieba.load_userdict('dict.txt')
print(jieba.lcut(content))

[‘自然语言处理’, ‘是’, ‘计算机科学’, ‘领域’, ‘与’, ‘人工智能’, ‘领域’, ‘中’, ‘的’, ‘一个’, ‘重要’, ‘方向’, ‘。’]