jieba
1、简介
1、文本分析中，分词是必不可少的一个环节。而jieba可以说是分词领域的佼佼者，是我们经常用到的一个python分词库。
2、模式
(1)支持三种分词模式：
- 精确模式：试图将句子最精确的切开，适合文本分析。
- 全模式：把句子中所有可以成词的词语都扫描出来，速度非常快，但是不能解决歧义。
- 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
(2)支持繁体分词
(3)支持自定义词典
2、安装
pip install jieba
3、涉及到的算法
- 基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图 (DAG)
- 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合
- 对于未登录词，采用了基于汉字成词能力的 HMM (隐马尔科夫)模型，使用了 Viterbi 算法
4、功能
4.1 分词
4.1.1 直接分词
- jieba.cut 方法接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型
- jieba.cut_for_search 方法接受两个参数：需要分词的字符串；是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细
- 待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输入 GBK 字符串，可能无法预料地错误解码成 UTF-8
- jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)，或者用
- jieba.lcut 以及 jieba.lcut_for_search 直接返回 list
- jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定义分词器，可用于同时使用不同词典。jieba.dt 为默认分词器，所有全局分词相关函数都是该分词器的映射。
代码示例：
import jieba
seg_list = jieba.cut("今年五一，我来到北京清华大学", cut_all=True)
print("全模式: " + "/ ".join(seg_list)) # 全模式
seg_list = jieba.cut("今年五一，我来到北京清华大学", cut_all=False)
print("精确模式: " + "/ ".join(seg_list)) # 精确模式
seg_list = jieba.cut("今年五一，我来到北京清华大学") # 默认是精确模式
print(", ".join(seg_list))
seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造") # 搜索引擎模式
print('搜索引擎模式'+", ".join(seg_list))
输出：
全模式: 今年/ 五一/ ，/ 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学
精确模式: 今年/ 五一/ ，/ 我/ 来到/ 北京/ 清华大学
今年, 五一, ，, 我, 来到, 北京, 清华大学
搜索引擎模式小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, ，, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造
4.1.2 添加自定义词典 +分词
-
开发者可以指定自己自定义的词典，以便包含 jieba 词库里没有的词。虽然 jieba 有新词识别能力，但是自行添加新词可以保证更高的正确率
-
用法： jieba.load_userdict(file_name) # file_name 为文件类对象或自定义词典的路径
-
词典格式和 dict.txt 一样，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。file_name 若为路径或二进制方式打开的文件，则文件必须为 UTF-8 编码。
-
词频省略时使用自动计算的能保证分出该词的词频。
例如： -
userdict.txt
云计算 5
李小福 2 nr
创新办 3 i
easy_install 3 eng
好用 300
韩玉赏鉴 3 nz
八一双鹿 3 nz
台中
凱特琳 nz
Edu Trust认证 2000
- 更改分词器（默认为 jieba.dt）的 tmp_dir 和 cache_file 属性，可分别指定缓存文件所在的文件夹及其文件名，用于受限的文件系统。
案例：
- 之前即没有添加自定义字典
import jieba
seg_list = jieba.cut("李小福是创新办主任也是云计算方面的专家") # 默认是精确模式
print(", ".join(seg_list))
输出：
李小福/ 是/ 创新/ 办/ 主任/ 也/ 是/ 云/ 计算/ 方面/ 的/ 专家
- 加载自定义词库后：
#导入jieba包
import jieba
#管理系统路径
import sys
sys.path.append("../")
#获取自定义词典
jieba.load_userdict("userdict.txt")
test_sent = (
"李小福是创新办主任也是云计算方面的专家"
)
#默认分词
words = jieba.cut(test_sent)
print('/'.join(words))#使用/把分词的结果分开
输出：
李小福/是/创新办/主任/也/是/云计算/方面/的/专家
是不是，就很准确了呢！
调整字典
- 使用 add_word(word, freq=None, tag=None) 和 del_word(word) 可在程序中动态修改词典。
- 使用 suggest_freq(segment, tune=True) 可调节单个词语的词频，使其能（或不能）被分出来。
- 注意：自动计算的词频在使用 HMM 新词发现功能时可能无效。
示例：
#添加词
jieba.add_word('石墨烯')
jieba.add_word('凱特琳')
#删除词
jieba.del_word('自定义词')
print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))
jieba.suggest_freq(('中', '将'), True)
print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))
print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))
jieba.suggest_freq('台中', True)
print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))
输出：
如果/放到/post/中将/出错/。
如果/放到/post/中/将/出错/。
「/台中/」/正确/应该/不会/被/切开
「/台中/」/正确/应该/不会/被/切开
4.2 词性标注
- 标注句子分词后每个词的词性，采用和ictclas兼容的标记法
- 用法示例：
import jieba.posseg as pseg
words =pseg.cut("我爱北京天安门")
for w in words:
print (w.word,w.flag)
输出：
我 r
爱 v
北京 ns
天安门 ns
-
这里附上词性标注表，如下：
-
名词 (1个一类，7个二类，5个三类)
-
名词分为以下子类：
- n 名词
nr 人名
nr1 汉语姓氏
nr2 汉语名字
nrj 日语人名
nrf 音译人名
ns 地名
nsf 音译地名
nt 机构团体名
nz 其它专名
nl 名词性惯用语
ng 名词性语素
- n 名词
-
时间词(1个一类，1个二类)
- t 时间词
- tg 时间词性语素
-
处所词(1个一类)
- s 处所词
-
方位词(1个一类)
f 方位词
-
动词(1个一类，9个二类)
- v 动词
vd 副动词
vn 名动词
vshi 动词“是”
vyou 动词“有”
vf 趋向动词
vx 形式动词
vi 不及物动词（内动词）
vl 动词性惯用语
vg 动词性语素
- v 动词
-
形容词(1个一类，4个二类)
- a 形容词
ad 副形词
an 名形词
ag 形容词性语素
al 形容词性惯用语
- a 形容词
-
区别词(1个一类，2个二类)
- b 区别词
bl 区别词性惯用语
- b 区别词
-
状态词(1个一类)
z 状态词
-
代词(1个一类，4个二类，6个三类)
- r 代词
rr 人称代词
rz 指示代词
rzt 时间指示代词
rzs 处所指示代词
rzv 谓词性指示代词
ry 疑问代词
ryt 时间疑问代词
rys 处所疑问代词
ryv 谓词性疑问代词
rg 代词性语素
- r 代词
-
数词(1个一类，1个二类)
- m 数词
mq 数量词
- m 数词
-
量词(1个一类，2个二类)
- q 量词
qv 动量词
qt 时量词
- q 量词
-
副词(1个一类)
- d 副词
-
介词(1个一类，2个二类)
- p 介词
pba 介词“把”
pbei 介词“被”
- p 介词
-
连词(1个一类，1个二类)
- c 连词
cc 并列连词
- c 连词
-
助词(1个一类，15个二类)
- u 助词
uzhe 着
ule 了 喽
uguo 过
ude1 的 底
ude2 地
ude3 得
usuo 所
udeng 等 等等 云云
uyy 一样 一般 似的 般
udh 的话
uls 来讲 来说 而言 说来
uzhi 之
ulian 连 （“连小学生都会”）
- u 助词
-
叹词(1个一类)
- e 叹词
-
语气词(1个一类)
- y 语气词(delete yg)
-
拟声词(1个一类)
- o 拟声词
-
前缀(1个一类)
- h 前缀
-
后缀(1个一类)
- k 后缀
-
字符串(1个一类，2个二类)
- x 字符串
xx 非语素字
xu 网址URL
- x 字符串
-
标点符号(1个一类，16个二类)
- w 标点符号
wkz 左括号，全角：（ 〔 ［ ｛ 《 【 〖 〈 半角：( [ { <
wky 右括号，全角：） 〕 ］ ｝ 》 】 〗 〉 半角： ) ] { >
wyz 左引号，全角：“ ‘ 『
wyy 右引号，全角：” ’ 』
wj 句号，全角：。
ww 问号，全角：？ 半角：?
wt 叹号，全角：！ 半角：!
wd 逗号，全角：， 半角：,
wf 分号，全角：； 半角： ;
wn 顿号，全角：、
wm 冒号，全角：： 半角： :
ws 省略号，全角：…… …
wp 破折号，全角：—— －－ ——－ 半角：—
wb 百分号千分号，全角：％ ‰ 半角：%
wh 单位符号，全角：￥ ＄ ￡ ° ℃ 半角 $
- w 标点符号
4.3 关键字提取
1、基于TF-IDF算法的关键词提取
import jieba.analyse
语法：
jieba.analyse.extract_tags(sentence, topK=20, withWeight=False,allowPOS=())
- sentence 为待提取的文本
- topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20
- withWeight 为是否一并返回关键词权重值，默认值为 False
- allowPOS 仅包括指定词性的词，默认值为空，即不筛选
jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 实例，idf_path 为 IDF 频率文件
代码示例：
import jieba
import jieba.analyse
#读取文件,返回一个字符串，使用utf-8编码方式读取，该文档位于此python同以及目录下
content = open('lyt.txt','r',encoding='utf-8').read()
tags = jieba.analyse.extract_tags(content,topK=10)
print(",".join(tags))
输出：
所謂,是否,一般,沒有,矯作,退縮,肌迫,雖然,怯懦,真實
2、关键词提取所使用逆向文件频率（IDF）文本语料库可以切换成自定义语料库的路径
语法：
jieba.analyse.set_idf_path(file_name) # file_name为自定义语料库的路径
- 自定义语料库示例
我 0 是否 13.900677652 所谓13.900677652 消瘦 13.900677652 热火13.900677652 力 13.900677652 困惑 13.900677652 焦作 13.900677652 如果 13.900677652 退缩 11.5027823792 忌口 11.5027823792 倒车档 12.2912397395 倒車檔 12.2912397395 编译 9.21854642485 編譯 9.21854642485 蝶泳 11.1926274509 外委 11.8212361103
- 用法示例
content = open('lyt.txt', 'rb').read()
jieba.analyse.set_idf_path("idf.txt.big.txt");
tags = jieba.analyse.extract_tags(content, topK=10)
print(",".join(tags))
3、关键词提取所使用停止词（Stop Words）文本语料库可以切换成自定义语料库的路径
- 用法：
jieba.analyse.set_stop_words(file_name)# file_name为自定义语料库的路径 - 自定义语料库示例：
!
"
#
$
%
&
'
(
)
*
+
,
-
--
.
..
...
......
...................
./
.一
记者
数
年
月
日
时
分
秒
/
//
0
1
2
3
4
- 用法示例
import jieba
import jieba.analyse
#读取文件,返回一个字符串，使用utf-8编码方式读取，该文档位于此python同以及目录下
content = open('lyt.txt', 'rb').read()
jieba.analyse.set_stop_words("stop.words.txt")
tags = jieba.analyse.extract_tags(content, topK=10)
print(",".join(tags))
4、关键词一并返回关键词权重值示例
import jieba
import jieba.analyse
#读取文件,返回一个字符串，使用utf-8编码方式读取，该文档位于此python同以及目录下
content = open('lyt.txt', 'rb').read()
jieba.analyse.set_stop_words("stop.words.txt")
tags = jieba.analyse.extract_tags(content, topK=10,withWeight=True)
for tag in tags:
print("tag:%s\t\t weight:%f"%(tag[0],tag[1]))
输出：
tag:是否 weight:1.683770
tag:一般 weight:1.683770
tag:所謂 weight:1.010262
tag:只有 weight:0.336754
tag:沒有 weight:0.336754
tag:怯懦 weight:0.336754
tag:矯作 weight:0.336754
tag:退縮 weight:0.336754
tag:肌迫 weight:0.336754
tag:只是 weight:0.336754
4.4 并行分词
- 原理：将目标文本按行分隔后，把各行文本分配到多个 Python 进程并行分词，然后归并结果，从而获得分词速度的可观提升
- 基于 python 自带的 multiprocessing 模块，目前暂不支持 Windows
- 用法
jieba.enable_parallel(4)# 开启并行分词模式，参数为并行进程数jieba.disable_parallel()# 关闭并行分词模式
官方使用案例
import sys
import time
sys.path.append("../../")
import jieba
jieba.enable_parallel()
url = sys.argv[1]
content = open(url,"rb").read()
t1 = time.time()
words = "/ ".join(jieba.cut(content))
t2 = time.time()
tm_cost = t2-t1
log_f = open("1.log","wb")
log_f.write(words.encode('utf-8'))
print('speed %s bytes/second' % (len(content)/tm_cost))
- 注意： 并行分词仅支持默认分词器 jieba.dt 和 jieba.posseg.dt。
4.5 Tokenize：返回词语在原文的起止位置
- 注意，输入参数只接受 unicode
- 默认模式
import jieba
import jieba.analyse
result = jieba.tokenize(u'永和服装饰品有限公司')
for tk in result:
print("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2]))
输出：
word 永和 start: 0 end:2
word 服装 start: 2 end:4
word 饰品 start: 4 end:6
word 有限公司 start: 6 end:10
- 搜索模式
result = jieba.tokenize(u'永和服装饰品有限公司', mode='search')
for tk in result:
print("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2]))
输出：
word 永和 start: 0 end:2
word 服装 start: 2 end:4
word 饰品 start: 4 end:6
word 有限 start: 6 end:8
word 公司 start: 8 end:10
word 有限公司 start: 6 end:10
4.6 ChineseAnalyzer for Whoosh 搜索引擎
- 语法：
from jieba.analyse import ChineseAnalyzer - 官方案例
# -*- coding: UTF-8 -*-
from __future__ import unicode_literals
import sys,os
sys.path.append("../")
from whoosh.index import create_in,open_dir
from whoosh.fields import *
from whoosh.qparser import QueryParser
from jieba.analyse import ChineseAnalyzer
analyzer = ChineseAnalyzer()
schema = Schema(title=TEXT(stored=True), path=ID(stored=True), content=TEXT(stored=True, analyzer=analyzer))
if not os.path.exists("tmp"):
os.mkdir("tmp")
ix = create_in("tmp", schema) # for create new index
#ix = open_dir("tmp") # for read only
writer = ix.writer()
writer.add_document(
title="document1",
path="/a",
content="This is the first document we’ve added!"
)
writer.add_document(
title="document2",
path="/b",
content="The second one 你 中文测试中文 is even more interesting! 吃水果"
)
writer.add_document(
title="document3",
path="/c",
content="买水果然后来世博园。"
)
writer.add_document(
title="document4",
path="/c",
content="工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作"
)
writer.add_document(
title="document4",
path="/c",
content="咱俩交换一下吧。"
)
writer.commit()
searcher = ix.searcher()
parser = QueryParser("content", schema=ix.schema)
for keyword in ("水果世博园","你","first","中文","交换机","交换"):
print("result of ",keyword)
q = parser.parse(keyword)
results = searcher.search(q)
for hit in results:
print(hit.highlights("content"))
print("="*10)
for t in analyzer("我的好朋友是李明;我爱北京天安门;IBM和Microsoft; I have a dream. this is intetesting and interested me a lot"):
print(t.text)
4.7 延迟加载
jieba 采用延迟加载，import jieba 和 jieba.Tokenizer() 不会立即触发词典的加载，一旦有必要才开始加载词典构建前缀字典。如果你想手工初始 jieba，也可以手动初始化。
import jieba
jieba.initialize() # 手动初始化（可选）
案例：
#encoding=utf-8
from __future__ import print_function
import sys
sys.path.append("../")
import jieba
def cuttest(test_sent):
result = jieba.cut(test_sent)
print(" ".join(result))
def testcase():
cuttest("这是一个伸手不见五指的黑夜。我叫孙悟空，我爱北京，我爱Python和C++。")
cuttest("我不喜欢日本和服。")
cuttest("雷猴回归人间。")
cuttest("工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作")
cuttest("我需要廉租房")
cuttest("永和服装饰品有限公司")
cuttest("我爱北京天安门")
cuttest("abc")
cuttest("隐马尔可夫")
cuttest("雷猴是个好网站")
if __name__ == "__main__":
testcase()
jieba.set_dictionary("foobar.txt")
print("================================")
testcase()
4.8 其他字典
04.其他词典
1.占用内存较小的词典文件 https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.small
2.支持繁体分词更好的词典文件 https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.big
下载你所需要的词典，然后覆盖 jieba/dict.txt 即可；或者用 jieba.set_dictionary(‘data/dict.txt.big’)
参考资料：
https://github.com/fxsjy/jieba
842
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
