对这几天的爬虫学习做一个小结式的实战,爬取百度图片,这也是后面复现论文最有可能用到的,不过百度的反爬虫越来越严了,所以这个实战不知道还有能用多久
目标链接
如果你直接打开百度图片,搜索一个东西,你会发现链接特别的长,参数很多,当你用该链接去爬虫时,第一步获取网页信息就会有问题。
会被安全验证给拦截了。
经过我多番百度。。找到一个能用的链接:‘https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=’ + target + ‘&pn=’,其中target是要搜的内容,pn是第几页。这个链接不仅不会被安全验证拦截,还提供翻页,更方便于爬虫。
网页分析
首先,利用requests获取网页的信息
其中,middleURL后面接的链接就是图片的链接。所以先用正则表达式获取图片的链接,然后再用requests对获取到的图片链接进行get,得到的content直接保存成图片即可。
补充说明一点,pn翻页并不是+1的,pn=0,20,40…代表1,2,3…页。
代码实现
#encoding=utf-8
import requests
# from bs4 import BeautifulSoup
import time
import os
import re
import sys
target = input("爬取目标:")
source = 'https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=' + target + '&pn='
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'
}
num = 0
for i in range(10): #遍历10页
url = source + str(i * 20)
response = requests.get(url, headers=header) #插入头模拟浏览器
content = response.content.decode('utf-8') #获取网页信息
# print(content)
func = '"middleURL"\s?:\s?"(.*?)",' #获取middleURL
results = re.findall(func, content, re.S)
# print(results)
for result in results:
pic_url = result
# print(pic_url)
if pic_url.split('.')[-1] in ['jpg', 'png', 'jpeg', 'JPG', 'JPEG', 'PNG']:
try:
response_pic = requests.get(pic_url, timeout=10) #获取图片链接内容
with open(os.path.join('./' + target, pic_url.split('/')[-1]), 'wb') as f:
f.write(response_pic.content) #保存图片到本地
num += 1
sys.stdout.write('\r%d张图片已下载' % num)
sys.stdout.flush()
except IOError:
print(pic_url + ' : 下载错误!')
结果: