代码块
import re
import requests
# 创建一个浏览器,并且实例化Session
session = requests.Session()
# 传入请求头,防止被封,403
session.headers.update({'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'})
# url
url = 'http://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gb18030&word=%CD%BC%C6%AC&fr=ala&ala=1&alatpl=others&pos=0'
res = session.get(url=url)
# 拿到的html数据
html = res.text
# 提取图片url,这里根据re模块匹配,
img_urls = re.findall(r'"thumbURL":"(.*?)"',html)
# 下载保存数据
for index,img_url in enumerate(img_urls): # 通过高阶内置函数enumerate()枚举
session.headers.update({'Referer':'%s'%url}) # 发现获取图片的url时,打开显示403拒绝访问,所以需要加Referer请求头
img_res = session.get(img_url)
with open('%s.jpg'%index,'wb') as f: # 打开文件
f.write(img_res.content) # 这里写入content二进制数据
print(img_url)
这里说明这一行代码
img_urls = re.findall(r'"thumbURL":"(.*?)"',html)
通过re模块进行匹配图片url,通过检查网页元素以及查看网页源代码,发现,这些图片都有的共同属性,就是"thumbURL",通过它就可以锁定到我们需要的图片地址
元素检查
源网页查找
运行结果
我们发现,在当前文件夹位置下面,下载了我们需要的图片,随即打开一张