1. 图片爬取流程分析
- 先获取网址,URL:https://www.xiachufang.com/category/40076/
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/2d91933011b853adab2fe5acc62b97a9.png)
- 定位想要爬取的内容
- 使用正则表达式爬取
- 导入模块
- 指定URL
- UA伪装(模拟浏览器)
- 发起请求,获取当前页面的数据内容,并使用通用爬虫爬取整个页面
- 编译正则表达式(提取想要的内容)
- 解析请求内容
- 指定图片存储路径
- 持久化存储
2. 实现代码—爬取家常菜图片
import ssl
import os
import re
import requests
if __name__ == '__main__':
if not os.path.exists('./caipu/'):
os.mkdir('./caipu/')
url = 'https://www.xiachufang.com/category/40076/'
headers = {
'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36'
}
page_text = requests.get(url=url, headers=headers).text
data_src_list = re.compile('data-src="(.*?)" width=')
data_src_url = data_src_list.findall(page_text)
for src in data_src_url:
img_data = requests.get(url=src,headers=headers).content
img_name = src.split('/')[-10].split('?')[0]
imgPath = './caipu/'+img_name
with open(imgPath,'wb') as fp:
fp.write(img_data)
print(img_name, "下载成功!!!")