在上次尝试了爬取网页的一些文字数据之后,就想在爬取一下网站的图片
那么就开始吧!
我自己选择了一个旅游网站,打算爬取以下展示的图片
基础的代码准备一下,设置需要爬取的url,还有UA检测,然后就是需要用到re模块
import requests
import re
if __name__=="__main__":
url="https://www.uzai.com/"
headers = {
'User-Agent': "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N)
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Mobile
Safari/537.36Edg/122.0.0.0"
}
我首先利用request.get()请求获取一下整张网页的文本数据
然后利用python的正则表达式对图片所在的HTML标签数据内容进行一个获取
#使用通用爬虫对整张页面进行爬取
page_text=requests.get(url=url,headers=headers).text
#使用聚焦爬虫对页面中所有图片进行爬取
ex='<div class="main2_m_right_list clearfix ".*? src="(.*?)"'
这边涉及python的正则表达式里的知识内容有点多且复杂,往后可以在进行一个补充
表达式作用在这里边可以让我们按特定条件来选择去获取某些内容,比如获取标签中的Src,利用re模块中的findall(),根据所响应的标签内容和表达式条件的选择,返回一个包含src的列表
img_src_list=re.findall(ex,page_text,re.S)
print(img_src_list)
可以打印一下验证是否有爬取到响应的src内容
Tip:有些src的是没有带https:的,需要自己循环拼接一下
接着利用.content来获取图片内容
'https://img5.uzaicdn.com/uz/navigation/productFloorRecommend/ATT0001546758.jpg?imageView2/2/w/263/h/197',
我们发现把src通过split()方法根据“/”进行分段倒叙截取第六个内容,在根据“?”截取第一个内容,就能够获取到
src中ATT0001546758.jpg这段内容,借此把它作为我们保存图片的名字
for src in img_src_list:
img_data=requests.get(url=src,headers=headers).content
img_name=src.split("/")[-6]
img_name = img_name.split("?")[0]
img_path='./'+img_name
#持久化储存
with open(img_path,'wb')as fp:
fp.write(img_data)
print(img_name,"下载成功!")
最后保存,点击运行就成功批量下载图片,正常打开啦!
以下是原代码展示
import requests
import re
if __name__=="__main__":
url="https://www.uzai.com/"
headers = {
'User-Agent': "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Mobile Safari/537.36 Edg/122.0.0.0"
}
#使用通用爬虫对整张页面进行爬取
page_text=requests.get(url=url,headers=headers).text
#使用聚焦爬虫对页面中所有图片进行爬取
ex='<div class="main2_m_right_list clearfix ".*? src="(.*?)"'
img_src_list=re.findall(ex,page_text,re.S)
print(img_src_list)
for src in img_src_list:
img_data=requests.get(url=src,headers=headers).content
img_name=src.split("/")[-6]
img_name = img_name.split("?")[0]
img_path='./'+img_name
#持久化储存
with open(img_path,'wb')as fp:
fp.write(img_data)
print(img_name,"下载成功!")