使jieba用户词典支持空格

将原始jieba字典中的空格更改为 @@  1.原来:雅不可攀 3 nr  2.现在:雅不可攀@@3@@nr
原始目字典在jieba包路径下,通常为...site-packages/jieba/dict.txt 

将自定义用户词典加入的词与词性中间的空格更改为@@ 
   1.原来:牵连关系 50 n
   2.现在:牵连关系@@50@@n
 
更改jieba根目录下的__init__.py文件下代码:
   1.原来:re_userdict = re.compile('^(.+?)( [0-9]+)?( [a-z]+)?$', re.U)
   2.现在:re_userdict = re.compile('^(.+?)(\u0040\u0040[0-9]+)?(\u0040\u0040[a-z]+)?$', re.U)
 
   1.原来:re_han_default = re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._%]+)", re.U)
   2.现在:re_han_default = re.compile("(.+)", re.U)
 
   1.原来:word, freq = line.split(' ')[:2]
   2.现在:word, freq = line.split('\u0040\u0040')[:2]
 
   1.原来:self.user_word_tag_tab[word] = tag
   2.现在:self.user_word_tag_tab[word] = tag.replace('\u0040\u0040', '')
 
   1.在
   	word, freq, tag = re_userdict.match(line).groups()
   	if freq is not None:
	  下加入一行代码
   2.freq = freq.replace('\u0040\u0040', '')
 
更改jieba根目录下posseg文件下的__init__.py下代码:
   1.原来:re_han_internal = re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._]+)")
   2.现在:re_han_internal = re.compile("(.+)", re.U)
 
   1.原来:word, _, tag = line.split(" ")
   2.现在:word, _, tag = line.split("\u0040\u0040")

原文链接, 在此基础上修改

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值