jieba 分词如何控制分词粒度

本文主要内容是

1. 分词力度的应用场景
2. jieba分词如何实现分词的粒度

分词粒度的概念

我最喜欢的篮球明星是勒布朗·詹姆斯，一般我们直接称呼他为詹姆斯

以该句话为例，最好的分词结果是 “勒布朗·詹姆斯” 和 “詹姆斯”都能分离出来。这就涉及到了分词粒度的控制，即如何保证长的词语不会被分开。

常用分词工具，ansj 直接提供分词粒度的控制和词性的自定义校正 而 python 版本的jieba 通过 控制词频来间接管理 分词的粒度。具体实现如下

jieba分词粒度的控制

根据官方提供的wiki文档https://github.com/fxsjy/jieba 其主要是通过强调高词频来控制分词力度，

其中一种动态控制的方法如下

import jieba
content = '我最喜欢的篮球明星是勒布朗·詹姆斯，一般我们直接称呼他为詹姆斯'
words = ['勒布朗','詹姆斯','勒布朗·詹姆斯']
for w in words:
    
    jieba.add_word(w,len(w) * 1000,'nr')
    # 另一种控制粒度的方式
    #jieba.suggest_freq('勒布朗·詹姆斯', True)
print(','.join(jieba.cut(content)))

 

第二种直接在自定义词典中中设置 词的频次，词表格式如下

勒布朗·詹姆斯 5000
詹姆斯 1000
勒布朗 1000

 代码具体如下

import jieba
# 词典文件
word_dict_file = 'data/sport_word.dict'
# 加载自定义词典
jieba.load_userdict(word_dict_file)

content = '我最喜欢的篮球明星是勒布朗·詹姆斯，一般我们直接称呼他为詹姆斯'
print(','.join(jieba.cut(content)))

其他说明

控制粒度已经完成，在该句子中出现了jieba 分词无法处理的字符   “·”，需要在jieba 源码中的 C:\Anaconda3\Lib\site-packages\jieba\__init__.py (根据自己的安装路径修改) 添加正则匹配项后，就能正常识别了