Scrapy框架下使用ImagesPipeline管道类批量下载图片

ImagesPipeline介绍

ImagesPipeline是scrapy自带的类，用来处理图片（爬取时将图片下载到本地）用的。
特点：
1、将下载图片转换成通用的JPG和RGB格式
2、避免重复下载
3、图片大小过滤
4、异步下载
5、可自定义图片保存路径
6、仅需将图片的src属性传入管道即可批量爬取
…

实现思路

1、爬取目标：站长素材下的高清图片
2、数据解析：关闭配置文件中的ROBOTSTXT协议、设置代理并基于xpath对素材网站响应对象进行解析
3、在Item类中定义相关属性
4、将解析的src数据存储到item类中
5、将item对象提交给管道进行持久化存储
6、在管道文件中重写一个图片管道类继承ImagesPipeline并重写三个函数分别是：

通过get_media_requests为每个url生成一个Request
get_media_requests(self, item, info)
指定文件名字和存储路径
def file_path(self, request, response=None, info=None, *, item=None)
返回item对象，给下一执行的管道类
def file_path(self, request, response=None, info=None, *, item=None)

7、在配置文件中开启并更改管道类类型，并可以在配置文件中设置图片保存的路径、大小、过期天数等等

1、数据解析

注意：由于网页的懒加载我们使用xpath解析时需要用图片的伪属性
懒加载就是说只有当图片在可视化区域的时候才被加载进来，处于可视化区域的时候图片是src属性
反之则是src2属性，而scrapy抓取的时候始终处于非可视的状态。详情可以看看这篇博客图片-伪属性与懒加载

import scrapy

#从items文件中导入我们的item类
from imgPro.items import ImgproItem

class ZimgsSpider(scrapy.Spider):
    name = 'zimgs'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['https://sc.chinaz.com/tupian/']

    def parse(self, response):