结巴分词有前空格_jieba分词加入特殊字符和空格

将原始jieba字典中的空格更改为 @@

1.原来：雅不可攀 3 nr

2.现在：雅不可攀@@3@@nr

将自定义用户词典加入的词与词性中间的空格更改为@@

1.原来：牵连关系 50 n

2.现在：牵连关系@@50@@n

更改jieba根目录下的__init__.py文件下代码:

1.原来：re_userdict = re.compile('^(.+?)( [0-9]+)?( [a-z]+)?$', re.U)

2.现在：re_userdict = re.compile('^(.+?)(\u0040\u0040[0-9]+)?(\u0040\u0040[a-z]+)?$', re.U)

1.原来：re_han_default = re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._%]+)", re.U)

2.现在：re_han_default = re.compile("(.+)", re.U)

1.原来：word, freq = line.split(' ')[:2]

2.现在：word, freq = line.split('\u0040\u0040')[:2]

1.原来：self.user_word_tag_tab[word] = tag

2.现在：self.user_word_tag_tab[word] = tag.replace('\u0040\u0040', '')

1.在word, freq, tag = re_userdict.match(line).groups()下加入一行代码

2.freq = freq.replace('\u0040\u0040', '')

更改jieba根目录下posseg文件下的__init__.py下代码：

1.原来：re_han_internal = re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._]+)")

2.现在：re_han_internal = re.compile("(.+)", re.U)

1.原来：word, _, tag = line.split(" ")

2.现在：word, _, tag = line.split("\u0040\u0040")