在默认情况下,当关键词中带有空格或特殊字符,如World Economic Forum,用jieba分词,会将该词分成三个词:World,Economic,Forum。
#默认jieba:
import jieba
jieba.load_userdict("dict/userDict")
str1="People's Republic of China is the only legitimate government in China."
str2="World Economic Forum"
str3="Edu Trust认证"
for w in jieba.cut(str2):
print w+" ",
#People ' s Republic of China is the only legitimate government in China .
#World Economic Forum
#Edu Trust 认证
中英文中存在大量这样的专有名词。这种方式有时并不符合我们的需求。我们可以通过改jieba包init.py中几个正则表达式来解决这个问题。用户词典中词词性用@@分隔。
1. 搜索
re_han_default = re.compile(“([\u4E00-\u9FD5a-zA-Z0-9+#&._]+)”, re.U)
改成
re_han_default = re.compile(“(.+)”, re.U)
2. 搜索
re_userdict = re.compile(‘^(.+?)( [0-9]+)?( [a-z]+)?$’, re.U)
改成
re_userdict = re.compile(‘^(.+?)(\u0040\u0040[0-9]+)?(\u0040\u0040[a-z]+)?$’, re.U)
3. 搜索
word, freq = line.split(’ ‘)[:2]
改成
word, freq = line.split(‘\u0040\u0040’)[:2]
4.补充:若用全模式继续改。
搜索
re_han_cut_all = re.compile(“([\u4E00-\u9FD5]+)”, re.U)
改成
re_han_cut_all = re.compile(“(.+)”, re.U)
#修改后测试
userDict:
中华人民共和国@@n
People's Republic of China@@n
World Economic Forum@@n
世界经济论坛@@n
结果:
People's Republic of China is the only legitimate government in China .
World Economic Forum
Edu Trust认证