爬虫笔记(五)：百度图片爬取实战

对这几天的爬虫学习做一个小结式的实战，爬取百度图片，这也是后面复现论文最有可能用到的，不过百度的反爬虫越来越严了，所以这个实战不知道还有能用多久

目标链接

如果你直接打开百度图片，搜索一个东西，你会发现链接特别的长，参数很多，当你用该链接去爬虫时，第一步获取网页信息就会有问题。

会被安全验证给拦截了。
经过我多番百度。。找到一个能用的链接：‘https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=’ + target + ‘&pn=’，其中target是要搜的内容，pn是第几页。这个链接不仅不会被安全验证拦截，还提供翻页，更方便于爬虫。

网页分析

首先，利用requests获取网页的信息

其中，middleURL后面接的链接就是图片的链接。所以先用正则表达式获取图片的链接，然后再用requests对获取到的图片链接进行get，得到的content直接保存成图片即可。
补充说明一点，pn翻页并不是+1的，pn=0，20，40…代表1，2，3…页。

代码实现

#encoding=utf-8

import requests
# from bs4 import BeautifulSoup
import time
import os
import re
import sys

target = input("爬取目标：")
source = 'https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=' + target + '&pn='

header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'
}

num = 0

for i in range(10): #遍历10页
    url = source + str(i * 20)
    response = requests.get(url, headers=header) #插入头模拟浏览器
    content = response.content.decode('utf-8') #获取网页信息

    # print(content)

    func = '"middleURL"\s?:\s?"(.*?)",' #获取middleURL
    results = re.findall(func, content, re.S)
    # print(results)
    for result in results:
        pic_url = result
        # print(pic_url)
        if pic_url.split('.')[-1] in ['jpg', 'png', 'jpeg', 'JPG', 'JPEG', 'PNG']:
            try:
                response_pic = requests.get(pic_url, timeout=10) #获取图片链接内容
                with open(os.path.join('./' + target, pic_url.split('/')[-1]), 'wb') as f:
                    f.write(response_pic.content) #保存图片到本地
                    num += 1
                    sys.stdout.write('\r%d张图片已下载' % num)
                    sys.stdout.flush()
            except IOError:
                print(pic_url + ' : 下载错误！')

结果：