1.默认模型及默认词典分词(默认使用预模型msra
)。
import pkuseg
seg = pkuseg.pkuseg() #以默认配置加载模型
text = seg.cut('南京市长江大桥,叙利亚东古塔地区,俄外交部') #进行分词
print(text)
['南京市', '长江', '大桥', ',', '叙利亚', '东古塔', '地区', ',', '俄', '外交部']
2.设置用户自定义词典
import pkuseg
lexicon = ['东古塔', '袭击事件'] #希望分词时用户词典中的词固定不分开
seg = pkuseg.pkuseg(user_dict=lexicon) #加载模型,给定用户词典
text = seg.cut('叙利亚东古塔地区7日发生疑似化学武器袭击事件,导致70余人丧生。俄外交部则认为,该谣言旨在袒护恐怖分子,并为外部势力发动打击寻找借口。') #进行分词
print(text)
['叙利亚', '东古塔', '地区', '7日', '发生', '疑似', '化学', '武器', '袭击事件', ',', '导致', '70余', '人', '丧生', '。', '俄', '外交部', '则', '认为', ',', '该', '谣言', '旨在', '袒护', '恐怖', '分子', ',', '并', '为', '外部', '势力', '发动', '打击', '寻找', '借口', '。']
其它模型及实例,见链接。
链接:https://pan.baidu.com/s/13dDImHbYa6heDzCjmH8Rnw
提取码:zt09