结巴分词有前空格_jieba英文空格分词问题

1.对于关键词存在空格或者特殊符号的情况下，jieba无法分出该词

2.在github上找到了一个解决方案，修改jieba源码

__init__.py

免费分享，造损免责。

打开默认词典(根目录)或自定义词典，把所有用来间隔词频和词性的空格间隔符改成@@

(选用@@是因为一般关键词里遇到这个分隔符的几率比较小吧)

继续，打开jieba根目录下init.py搜索

re_han_default = re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._]+)", re.U)

改成

re_han_default = re.compile("(.+)", re.U)

搜索

re_userdict = re.compile('^(.+?)( [0-9]+)?( [a-z]+)?$', re.U)

改成

re_userdict = re.compile('^(.+?)(\u0040\u0040[0-9]+)?(\u0040\u0040[a-z]+)?$', re.U)

搜索

word, freq = line.split(' ')[:2]

改成

word, freq = line.split('\u0040\u0040')[:2]

补充：若用的全模式继续改。

搜索

re_han_cut_all = re.compile("([\u4E00-\u9FD5]+)",