Python爬虫入门-小试ImagesPipeline爬取pixabay和煎蛋之为什么是‘404’

最新推荐文章于 2021-01-27 10:10:10 发布

小佐佐123

最新推荐文章于 2021-01-27 10:10:10 发布

阅读量1.3k

点赞数

分类专栏： python爬虫文章标签：爬虫 python 图片

本文链接：https://blog.csdn.net/suwenkun1126/article/details/78111428

版权

本文介绍了作者在使用Python的ImagesPipeline爬取Pixabay和煎蛋网图片时遇到的404错误。首先在Pixabay搜索美女图，遭遇ImportError和404问题，虽然解决了导入错误，但404问题依然存在。接着尝试爬取煎蛋网的妹子图，同样遇到404错误。作者怀疑可能是网站或代码问题，但尚未找到解决方案。文章最后讨论了处理ValueError: Missing scheme in request url时的改进方法。

摘要由CSDN通过智能技术生成

第一部分、利用ImagesPipeline爬取pixabay里面的美女图

进入pixabay网站在搜索框中输入关键字beauty,并且简化一下URL中的参数：

分析-01.png

尝试进行翻页，可见URL中只有一个参数pagi发生变化：

分析-02.png

随便进入一个页面打开F12，刷新，在原始的请求中有相关进入到详情页面的链接：

分析-03.png

进入到详情页面，同样F12，刷新，在原始请求中也能找到我们最后想要的图片下载链接(注意:此处并非下载的是最最高清的图片，我尝试进行注册以获取最高清图片下载链接，但是注册失败,有兴趣的可以再试试)：

分析-05.png

网页结构比较简单，本来觉得可以很快就爬完，没想到这才刚开始我的404之旅：

pixabay.py:

import scrapy
from scrapy.http.request import Request
from pixabayweb.items import PixabaywebItem

class PixabaySpider(scrapy.Spider):
    name = 'pixabay'
    start_urls=['https://pixabay.com/zh/photos/?q=beauty&pagi={}'.format(i)for i in range(1,414)]

    def parse(self, response):
        base_url='https://pixabay.com'
        links=response.xpath('//div[@class="flex_grid credits"]/div[@class="item"]')
        for link in links:
            url=base_url+link.xpath('./a/@href').extract_first()
            yield Request(url=url,callback=self.parse_detail)

    def parse_detail(self,response):
        item=PixabaywebItem()
        item['image_urls']=response.xpath('//*[@id="media_container"]/img/@src').extract_first()
        yield item<