爬虫 - Scrapy图片爬取

---

一、ImagePipeline

ImagePipeline是一个管道类
只需要将img的src的属性值进行解析, 提交到管道, 管道就会对图片的src进行请求发送获取二进制数据并进行持久化存储

二、使用步骤

需求 : 爬取素材的图片

1.使用步骤

• 数据解析
• 将存储图片地址的item提交到指定的管道类

import scrapy
from ..items import ZzproItem


class ZzimageSpider(scrapy.Spider):
    name = 'zzImage'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['https://sc.chinaz.com/tupian/']

    def parse(self, response):
        div_list = response.xpath("//*[@id='container']/div")
        for div in div_list:
            # 使用伪属性
            href = div.xpath("./div/a/img/@src2").extract_first()
            href = "https:" + href.replace('_s','')

            item = ZzproItem()
            item['href'] = href
            yield item

• 在管道文件中自定制一个基于ImagesPipeLine的一个管道类
  • get_media_request() : 发送请求
  • file_path() : 指定图片名称
  • item_completed() : 将item传递给下一个将要执行的管道类

from itemadapter import ItemAdapter
import scrapy
from scrapy.pipelines.images import ImagesPipeline


class ImagePipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        yield scrapy.Request(url=item['href'])

    def file_path(self, request, response=None, info=None):
        imgName = request.url.split('/')[-1]
        return imgName

    def item_completed(self, results, item, info):
        return item  # 返回给下一个即将执行的管道类

• 在settings中加入图片的存储目录

IMAGES_STORE = './imgs'

• 指定开启的管道 : 自定制的管道类

ITEM_PIPELINES = {
   'zzPro.pipelines.ImagePipeline': 300,
}