爬取网页数据所用到的方法-数据处理篇

Nikolas06

已于 2022-08-03 10:00:29 修改

阅读量431

点赞数

分类专栏： Spider 文章标签： python 正则表达式爬虫

于 2021-09-03 15:05:51 首次发布

本文链接：https://blog.csdn.net/weixin_42521409/article/details/120065744

版权

Spider 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

数据的清洗

# package import
import re

def cleansing_word(operate_type, data):
	"""
	operate_type的意义
	r'[\u4e00-\u9fa5]'表示只保留中文字符
	r'[^\u4e00-\u9fa5]'表示去除全部中文字符
	r'http://[a-zA-Z0-9.?/&=:]*'表示去除url
	r'^([\w]+\.*)([\w]+)\@[\w]+\.\w{3}(\.\w{2}|)'表示去除email
	r"[a-zA-Z0-9'!#$%&\'()*+,-./:;<=>?@，。?★、…【】《》？“”‘'！[\\]^_`{|}~\s]+"表示去除数字及特殊字符，只保留汉字
	r'[\001\002\003\004\005\006\007\x08\x09\x0a\x0b\x0c\x0d\x0e\x0f\x10\x11\x12\x13\x14\x15\x16\x17\x18\x19\x1a]+'表示去除不可见字符
	u"([^\u4e00-\u9fa5\u0030-\u0039\u0041-\u005a\u0061-\u007a])"表示特殊字符，只保留汉子，字母、数字
	"""
	# get pattern
	pattern = re.compile(operate_type)
	# get clean_word
	clean_word = re.sub(pattern, "", data)
	return clean_word