Python中的scrapy下载并保存图片

        在日常爬虫练习中，我们爬取到的数据需要进行保存操作，在scrapy中我们可以使用ImagesPipeline这个类来进行相关操作，这个类是scrapy已经封装好的了，我们直接拿来用即可。

                                                                   

     在使用ImagesPipeline下载图片数据时，我们需要对其中的三个管道类方法进行重写，其中         — get_media_request   是对图片地址发起请求

   — file path   是返回图片名称

   — item_completed  返回item,将其返回给下一个即将被执行的管道类

                                                

        那具体代码是什么样的呢，首先我们需要在pipelines.py文件中，导入ImagesPipeline类，然后重写上述所说的3个方法：

from scrapy.pipelines.images import ImagesPipeline
import  scrapy
import os


class ImgsPipLine(ImagesPipeline):
    def get_media_requests(self, item, info):
        yield scrapy.Request(url = item['img_src'],meta={'item':item})


    #返回图片名称即可
    def file_path(self, request, response=None, info=None):
        item = request.meta['item']
        print('########',item)
        filePath = item['img_name']
        return filePath

    def item_completed(self, results, item, info):
        return item

        方法定义好后，我们需要在settings.py配置文件中进行