Scrapy定制管道爬取pexels.com网站信息

Krystalcsdn

于 2019-08-08 20:18:54 发布

阅读量667

点赞数

分类专栏： python爬虫学习文章标签： Scrapy

本文链接：https://blog.csdn.net/KrystalCSDN/article/details/98883848

版权

本文介绍了使用Scrapy框架定制管道爬取pexels.com网站信息的过程，包括处理文本和图片。在实践中遇到的问题是，虽然预期应爬取60张图片，但实际只下载了40张。分析发现，第41个图片URL为空，导致图片处理管道提前终止。解决方案是在构建列表时增加非空判断，避免None值导致的问题。同时，文章提到了网页预加载导致部分图片无法直接获取的问题，并给出了相应的解决策略。

摘要由CSDN通过智能技术生成

参考了官方文档，链接https://scrapy-chs.readthedocs.io/zh_CN/latest/topics/images.html

处理文本的pipeline参考了这篇博客https://blog.csdn.net/killeri/article/details/80228089

items.py:

import scrapy

class XicidailispiderItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    image_urls = scrapy.Field()
    images = scrapy.Field()
    image_paths=scrapy.Field()
    photographer=scrapy.Field()

爬虫文件：

class PexelcrawlSpider(scrapy.Spider):
    name = 'pexelCrawl'
    allowed_domains = ['pexels.com']
    start_urls = ['https://www.pexels.com/']

    def parse(self, response):
        selectors = res