jieba 分词自定义词典问题

最新推荐文章于 2024-08-07 09:48:37 发布

life1024

最新推荐文章于 2024-08-07 09:48:37 发布

阅读量1.3w

点赞数 1

分类专栏： NLP python

本文链接：https://blog.csdn.net/u013378306/article/details/64126358

版权

NLP 同时被 2 个专栏收录

45 篇文章 41 订阅 ¥49.90 ¥99.00

订阅专栏

python

31 篇文章 32 订阅 ¥49.90 ¥99.00

订阅专栏

本文探讨了jieba分词中自定义词典的应用，指出自定义词典只对长词起作用，若定义词短于jieba默认分词，将无效。并展示了使用短分词、三字词及长词的分词结果对比。

摘要由CSDN通过智能技术生成

只对长词起作用

对如果定义的词比jieba自己分的短，则没有用

下面是三种分词方式的影响

原始：

#encoding=utf-8
import jieba
import os
import sys
test_text="电话号码查询"
#精确模式
seg_list = jieba.cut(test_text,cut_all=False)
seg_list = " ".join(seg_list)
print "cut_all=False: "+seg_list
#全模式
seg_list2 = jieba.cut(test_text,cut_all=True)
seg_list2 = " ".join(seg_list2)
print "cut_all=True: "+seg_list2
# 搜索引擎模式
seg_list3 = jieba.cut_for_search(test_text)
seg_list3 = " ".join(seg_list3)
print "cut_for_search： "+seg_list3

输出：