做文本处理时,当需要去除文本中当特殊字符(这里是除了中文、英文、数字以外当字符),可以使用正则表达式,快捷方便。因为文本中有中文,所以字符串要保证是‘utf-8‘格式。
str = u'活动规则:@ 3个好友转发并评论这条微博即可 。⚠️(评论获赞��最多的前三名为幸运粉丝[污])截 '
str = re.sub(ur'[^\u4e00-\u9fa5a-zA-Z0-9]', ',', str) # 这里用','替代文本中的特殊字符
str = re.sub(ur',{2,}', ',', str, re.S)#删除重复‘,‘
print str
结果
活动规则,3个好友转发并评论这条微博即可,评论获赞,最多的前三名为幸运粉丝,污,截,
可以看到所有的特殊字符都被替换成‘,‘,后续进行jieba分词就easy了