正则解析01

wtbsm

于 2021-08-01 23:41:18 发布

阅读量38

点赞数

本文链接：https://blog.csdn.net/ouat2018/article/details/119305831

版权

爬取糗事百科中热图板块下所有的图片

import requests
import re
import os
# 创建一个文件夹，保存所有的图片
if not os.path.exists('./qiushibaike'):
	os.mkdir('./qiushibaike')
url = 'https://www.qiushibaike.com/imgrank/'
headers = {
	'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36 Edg/92.0.902.62'
}
# 使用通用爬虫对URL对应的一整张页面进行爬取
page_text = requests.get(url=url,headers=headers).text
# 使用聚焦爬虫将页面中所有的图片进行解析/提取
ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
img_src_list = re.findall(ex,page_text,re.S)
for src in img_src_list:
	# 拼接出一个完整的图片URL
	src = 'https:' + src
	# 请求到了图片的二进制数据
	img_data = requests.get(url=src,headers=headers).content
	# 生成图片名称
	img_name = src.split('/')[-1]
	# 图片储存的路径
	img_path = './qiushibaike' + img_name
	with open(img_path,'wb')as fp:
		fp.write(img_data)
		print(img_name,'下载成功！！！')