安装 jieba
pip3 install jieba
jieba 支持三种分词模式:
精确模式:将句子最精确地切开,适合文本分析
全模式:把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义
搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词
jieba.cut 方法有三个参数,第一个参数为需要分词的字符串,第二个 cut_all 参数用来控制是否采用全模式,第三个 HMM 参数用来控制是否使用 HMM 模型
# -*- coding:utf-8 -*-
__author__ = "MuT6 Sch01aR"
import jieba
word_list = jieba.cut("福建的地理特点是依山傍海,九成陆地面积为山地丘陵地带,被称为八山一水一分田")
print("Default Mode: " + "/ ".join(word_list))
# cut_all=False 为精简模式,是默认的选项
word_list_1 = jieba.cut("福建的地理特点是依山傍海,九成陆地面积为山地丘陵地带,被称为八山一水一分田", cut_all=True)
print("Full Mode: " + "/" .join(word_list_1))
# cut_all=True 为全模式
运行结果
jieba.cut_for_search 方法有两个参数,第一个参数为需要分词的字符串,第二个 HMM 参数用来控制是否使用 HMM 模型
该方法适合用于搜索引擎构建倒排索引的分词
# -*- coding:utf-8 -*-
__author__ = "MuT6 Sch01aR"
import jieba
word_list_2 = jieba.cut_for_search("福建的地理特点是依山傍海,九成陆地面积为山地丘陵地带,被称为八山一水一分田")
print("Search Mode: " + "/".join(word_list_2))
运行结果
jieba.cut 和 jieba.cut_for_search 返回的类型都是一个可迭代的生成器
jieba.lcut 和 jieba.lcut_for_search 返回列表类型
关键字提取
基于 TF-IDF
jieba.analyse.extract_tags 方法有三个参数,第一个参数为字符串,第二个参数 topK 为返回几个 TF/IDF 权重最大的关键词,默认值为 20,第三个参数 withWeight 为是否一并返回关键词权重值,默认值为 False,第四个参数 allowPOS 仅包括指定词性的词,默认值为空,即不筛选
# -*- coding:utf-8 -*-
__author__ = "MuT6 Sch01aR"
import jieba.analyse
string = "福建的地理特点是依山傍海,九成陆地面积为山地丘陵地带,被称为八山一水一分田"
a = jieba.analyse.extract_tags(string, topK=20, withWeight=False, allowPOS=0)
print(a)
运行结果
基于 TextRank
jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v'))
# -*- coding:utf-8 -*-
__author__ = "MuT6 Sch01aR"
import jieba.analyse
string = "福建的地理特点是依山傍海,九成陆地面积为山地丘陵地带,被称为八山一水一分田"
a = jieba.analyse.textrank(string, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v'))
print(a)
运行结果
词性标注
# -*- coding:utf-8 -*-
__author__ = "MuT6 Sch01aR"
import jieba.posseg
strings = jieba.posseg.cut("福建的地理特点是依山傍海,九成陆地面积为山地丘陵地带,被称为八山一水一分田")
for word, flag in strings:
print("%s %s" %(word, flag))
运行结果
词性列表
n 名词
nr 人名
nr1 汉语姓氏
nr2 汉语名字
nrj 日语人名
nrf 音译人名
ns 地名
nsf 音译地名
nt 机构团体名
nz 其它专名
nl 名词性惯用语
ng 名词性语素
t 时间词
tg 时间词性语素
s 处所词 (家中、门外、境内、西方……)
f 方位词
v 动词
vd 副动词
vn 名动词
vshi 动词“是”
vyou 动词“有”
vf 趋向动词
vx 形式动词
vi 不及物动词(内动词)
vl 动词性惯用语
vg 动词性语素
a 形容词
ad 副形词
an 名形词
ag 形容词性语素
al 形容词性惯用语
b 区别词 (主要、整个、所有……)
bl 区别词性惯用语
z 状态词
r 代词
rr 人称代词
rz 指示代词
rzt 时间指示代词
rzs 处所指示代词
rzv 谓词性指示代词
ry 疑问代词
ryt 时间疑问代词
rys 处所疑问代词
ryv 谓词性疑问代词
rg 代词性语素
m 数词
mq 数量词
q 量词
qv 动量词
qt 时量词
d 副词
p 介词
pba 介词“把”
pbei 介词“被”
c 连词
cc 并列连词
u 助词
uzhe 着
ule 了 喽
uguo 过
ude1 的 底
ude2 地
ude3 得
usuo 所
udeng 等 等等 云云
uyy 一样 一般 似的 般
udh 的话
uls 来讲 来说 而言 说来
uzhi 之
ulian 连 (“连小学生都会”)
e 叹词
y 语气词(delete yg)
o 拟声词
h 前缀
k 后缀
x 字符串
xx 非语素字
xu 网址URL
w 标点符号
wkz 左括号,全角:( 〔 [ { 《 【 〖 〈 半角:( [ { <
wky 右括号,全角:) 〕 ] } 》 】 〗 〉 半角: ) ] { >
wyz 左引号,全角:“ ‘ 『
wyy 右引号,全角:” ’ 』
wj 句号,全角:。
ww 问号,全角:? 半角:?
wt 叹号,全角:! 半角:!
wd 逗号,全角:, 半角:,
wf 分号,全角:; 半角: ;
wn 顿号,全角:、
wm 冒号,全角:: 半角: :
ws 省略号,全角:…… …
wp 破折号,全角:—— -- ——- 半角:--- ----
wb 百分号千分号,全角:% ‰ 半角:%
wh 单位符号,全角:¥ $ £ ° ℃ 半角:$
载入词典
jieba.load_userdict(file_name), file_name 为文件类对象或自定义词典的路径
file_name 若为路径或二进制方式打开的文件,则文件必须为 UTF-8 编码
一个词占一行,每一行分三部分:词语、词频(可省略)、词性(可省略),用空格隔开,顺序不可颠倒
例子:
创新办 3 i
云计算 5
凱特琳 nz
台中