北京大学开源分词器pkuseg

1.默认模型及默认词典分词（默认使用预模型msra）。

import pkuseg
seg = pkuseg.pkuseg() #以默认配置加载模型
text = seg.cut('南京市长江大桥，叙利亚东古塔地区，俄外交部') #进行分词
print(text)
['南京市', '长江', '大桥', '，', '叙利亚', '东古塔', '地区', '，', '俄', '外交部']

2.设置用户自定义词典

import pkuseg
lexicon = ['东古塔', '袭击事件'] #希望分词时用户词典中的词固定不分开
seg = pkuseg.pkuseg(user_dict=lexicon)  #加载模型，给定用户词典
text = seg.cut('叙利亚东古塔地区7日发生疑似化学武器袭击事件，导致70余人丧生。俄外交部则认为，该谣言旨在袒护恐怖分子，并为外部势力发动打击寻找借口。')       #进行分词
print(text)
['叙利亚', '东古塔', '地区', '7日', '发生', '疑似', '化学', '武器', '袭击事件', '，', '导致', '70余', '人', '丧生', '。', '俄', '外交部', '则', '认为', '，', '该', '谣言', '旨在', '袒护', '恐怖', '分子', '，', '并', '为', '外部', '势力', '发动', '打击', '寻找', '借口', '。']

其它模型及实例，见链接。

链接：https://pan.baidu.com/s/13dDImHbYa6heDzCjmH8Rnw 
提取码：zt09