jieba分词保留社交媒体中的表情符号

社交媒体中的表情，经常是中括号+文字的形式，比如，[泪]。

但是按默认的jieba分词，会把[泪]拆成[’[’,‘泪’,’]’]。如果我们想分词的时候保留"[泪]”怎么做呢？

首先修改jieba
直接在jieba包init.py文件中

把
re_han_default = re.compile(“([\u4E00-\u9FD5a-zA-Z0-9+#&._]+)”,re.U)

改成

re_han_default = re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._%\-\]\[]+)", re.U)

然后

import jieba
# 添加不拆新词
jieba.add_word('[泪]')
text = '明天就要高考了，我压力好大……[泪]'
jieba.lcut(text)

输出：

参考资料：
jieba分词支持关键词带空格和特殊字符

jieba结巴分词加入自定义词典