scrapy爬取汽车之家保时捷911高清图片,使用imagespipeline下载

本文介绍了如何使用Scrapy爬虫框架配合imagespipeline组件,从汽车之家网站抓取并下载保时捷911的高清图片。在settings.py配置以及spider.py和pipeline.py的实现过程中遇到了一些挑战,但最终成功实现了图片的下载。虽然程序未运行完成,但已展示了关键步骤。
摘要由CSDN通过智能技术生成

昨天自己搞了一个下午加晚上,真的是心力憔悴。主要就是不知道imagespipeline怎么使用,问题在代码中有解释.
在settings.py中设置

ITEM_PIPELINES = {
    #'car_bsj.pipelines.CarBsjPipeline': 300,
    'car_bsj.pipelines.CARBSJImagesPipeline': 1
}
#这里是储存文件的文件目录
IMAGES_STORE = os.path.join(os.path.dirname(os.path.dirname(__file__)),'images')

直接上代码
spider.py

from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from car_bsj.items import CarBsjItem

class BsjSpider(CrawlSpider):
    name = 'bsj'
    allowed_domains = ['autohome.com.cn']
    start_urls = ['https://car.autohome.com.cn/pic/series/162.html']

    rules = (
        Rule(LinkExtractor(allow=r'.+pic/series/162-.+\.html'),
             callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        box_title = response.xpath("//div[@class='uibox']/div/text()").get().strip()
        imgs = response.xpath("//div[@class='uibox-con carpic-list03 border-b-solid']//li")
        for img in imgs:
            img_url ='https:' + img.xpath(".//img/@src").get()
#我们这里获取的是高清图不是缩略图,对比两者url
            img_url = img_url.replace('240x180_0_q95_c42','800x0_1_q95')
            img_title = img.xpath(".//img/@alt").get().strip()
#使用imagespipelines的图片地址一定要是列表,否则会出错
            item = CarBsjItem(image_urls= [img_url],img_title =img_title,box_title=box_title)
            yield item

pipeline.py

from scrapy.pipelines.images import ImagesPipeline
import os
from car_bsj import settings

class CarBsjPipeline(object):
    def process_item(self, item, spider):
        return item

class CARBSJImagesPipeline(ImagesPipeline):
   #info是类中自定义的一个方法,self.info()表示在类的其他实例方法中调用这个方法。
   
    def get_media_requests(self, item, info):
    
   #继承imagespipline中的get_media_requests方法,该方法主要是发送下载请求
        results = super(CARBSJImagesPipeline, self).get_media_requests(item, info)
        for result in results:
            result.item = item
        print(results)
        return results

    def file_path(self, request, response=None, info=None):
        #继承file_path方法储存文件
        path = super(CARBSJImagesPipeline, self).file_path(request, info)
        urlpath = os.path.join(settings.IMAGES_STORE,request.item['box_title'])
        if not os.path.exists(urlpath):
            print('='*10)
            os.mkdir(urlpath)
        img_name =path.replace('full/',request.item['img_title'])
        img_path = os.path.join(urlpath,img_name)
        return img_path

结果
我没有等程序运行完
这里在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值