NLP初级数据预处理正则表达式集合

最新推荐文章于 2023-07-24 01:03:17 发布

老大的小跟班999

最新推荐文章于 2023-07-24 01:03:17 发布

阅读量342

点赞数

分类专栏：工作感悟文章标签： NLP

本文链接：https://blog.csdn.net/qq_41949211/article/details/94133785

版权

工作感悟专栏收录该内容

6 篇文章 0 订阅

订阅专栏

text = text.replace('\n'," ") #新行，我们是不需要的
text = re.sub(r"-", " ", text) #把 "-" 的两个单词，分开。（比如：july-edu ==> july edu）
text = re.sub(r"\d+/\d+/\d+", "", text) #日期，对主体模型没什么意义
text = re.sub(r"[0-2]?[0-9]:[0-6][0-9]", "", text) #时间，没意义
text = re.sub(r"[\w]+@[\.\w]+", "", text) #邮件地址，没意义
text = re.sub(r"/[a-zA-Z]*[:\//\]*[A-Za-z0-9\-_]+\.+[A-Za-z0-9\.\/%&=\?\-_]+/i", "", text) #网址，没意义