jieba.cut和posseg.cut自定义词库特殊字符问题

最新推荐文章于 2024-07-20 15:55:48 发布

陈為先

最新推荐文章于 2024-07-20 15:55:48 发布

阅读量4.4k

点赞数

分类专栏：基础文章标签： jieba 自定义词库 posseg

本文链接：https://blog.csdn.net/axechen/article/details/86007999

版权

基础专栏收录该内容

5 篇文章 0 订阅

订阅专栏

python\Lib\site-packages\jieba\ init.py(#注释掉的是原文)

#re_han_default = re.compile(“([\u4E00-\u9FD5a-zA-Z0-9+#&._]+)”, re.U) 
re_han_default = re.compile(“(.+)”, re.U) 
#re_userdict = re.compile(‘^(.+?)( [0-9]+)?( [a-z]+)?＄’, re.U) 
re_userdict = re.compile(‘^(.+?)(\u0040\u0040[0-9]+)?(\u0040\u0040[a-z]+)?$’, re.U) 
#word, freq = line.split(’ ‘)[:2] 
word, freq = line.split(‘\u0040\u0040’)[:2] 
#re_han_cut_all = re.compile(“([\u4E00-\u9FD5]+)”, re.U) 
re_han_cut_all = re.compile(“(.+)”, re.U)

python\Lib\site-packages\jieba\posseg\ init.py

#re_han_detail = re.compile("([\u4E00-\u9FD5]+)")
re_han_detail = re.compile("(.+)")
#re_han_internal = re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._]+)")
re_han_internal = re.compile("(.+)")

注：修改后自定义词典的格式应为word@@tag