在使用jieba分词时经常会发现一些未登录词,因此增加领域词表就变得很重要,下面提供增加几种途径:
1、领域权威词汇字典
2、搜狗输入法领域词库、百度输入法领域词库
3、jieba分词提供的其他词典:点我查看jieba分词提供的其他字典,点我查看jieba分词词性标记含义
然后这三种类型的用户此表取个并集即可,在Python中使用集合操作即可,例如,三种字典均为列表(listt),如下操作即可去除重复:
set(userDict1 + userDict2 + userDict3)
在使用jieba分词时经常会发现一些未登录词,因此增加领域词表就变得很重要,下面提供增加几种途径:
1、领域权威词汇字典
2、搜狗输入法领域词库、百度输入法领域词库
3、jieba分词提供的其他词典:点我查看jieba分词提供的其他字典,点我查看jieba分词词性标记含义
然后这三种类型的用户此表取个并集即可,在Python中使用集合操作即可,例如,三种字典均为列表(listt),如下操作即可去除重复:
set(userDict1 + userDict2 + userDict3)