jieba分词中的特殊字符处理

最近在做jieba分词的时候出现一个有意思的问题

 

往词库里面加了TD-523 这个词

然后拆分的时候 拆成了TD 523

 

 

怀疑是-影响的  然后在词库中修改为TD523 

正确分出来TD523 

 

 

但是如果非要拆分出来TD-523 呢

参考下面这篇文章

https://blog.csdn.net/wangpei1949/article/details/57077007

 

　　中英文中存在大量这样的专有名词。这种方式有时并不符合我们的需求。我们可以通过改jieba包init.py中几个正则表达式来解决这个问题。用户词典中词词性用@@分隔。 
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 
　　1. 搜索 
　　　re_han_default = re.compile(“([\u4E00-\u9FD5a-zA-Z0-9+#&._]+)”, re.U) 
　　　改成 
　　　re_han_default = re.compile(“(.+)”, re.U) 
　　　 
　　2. 搜索 
　　　re_userdict = re.compile(‘^(.+?)( [0-9]+)?( [a-z]+)?＄’, re.U) 
　　　改成 
　　　re_userdict = re.compile(‘^(.+?)(\u0040\u0040[0-9]+)?(\u0040\u0040[a-z]+)?$’, re.U) 
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 
　　3. 搜索 
　　　word, freq = line.split(’ ‘)[:2] 
　　　改成 
　　　word, freq = line.split(‘\u0040\u0040’)[:2] 
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 
　　4.补充：若用全模式继续改。 
　　　搜索 
　　　re_han_cut_all = re.compile(“([\u4E00-\u9FD5]+)”, re.U) 
　　　改成 
　　　re_han_cut_all = re.compile(“(.+)”, re.U)