利用Scrapy框架下载图片报400状态码

最新推荐文章于 2023-09-13 15:17:24 发布
最新推荐文章于 2023-09-13 15:17:24 发布
阅读量1.3k 收藏
点赞数
分类专栏： 报错集合 文章标签： scrapy code:400
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41359051/article/details/81456795
版权
在使用Scrapy框架爬取伯乐在线并下载图片时遇到400状态码问题。问题源于在settings.py中请求头设置了Host字段。删除该字段后，图片下载恢复正常。反思中提到，Host字段应指向实际请求的HTTP服务器地址，不正确设置可能导致请求失败。
摘要由CSDN通过智能技术生成

问题：

利用Scrapy框架爬伯乐在线的时候，涉及到图片下载，因为scrapy框架中内置有图片下载功能，所以没有另外写，直接使用。在settings.py中做了如下修改：

ITEM_PIPELINES = {
    'Article.pipelines.ArticlePipeline': 300,
    "scrapy.pipelines.images.ImagesPipeline": 1
}

程序跑起来很OK，但没有图片下载下来，一检查，发现存在这样的警告：
[scrapy.pipelines.files] WARNING: File (code: 400): Error downloading file from <GET xxx> referred in <None>

经排查，找到问题出现在请求头的设置部分：

DEFAULT_REQUEST_HEADERS = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 '
最低0.47元/天 解锁文章
有关心情
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
孤寒者的博客
08-09 61万+
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
python爬虫之十一_scrapy框架经验、错误
IMchg的博客
11-05 4819
发是发发发的
用scrapy爬取下载某图片网站的全部图片
08-20
用scrapy爬取下载某图片网站的全部图片。代码中已经去除了具体网站的信息，代码只供学习用。
scrapy post发送请求400状态码
Cocktail_py的博客
01-06 290
# 请求头注释掉Content-Length # 'Content-Length': '38' 参考:https://www.jianshu.com/p/ed3924385baf
scrapy发送post请求的两种方法,和scrapy返回400的处理方式
酒逢知己千杯少,欢迎驾临
01-04 662
https://blog.csdn.net/weixin_38819889/article/details/109106942 https://www.cnblogs.com/ceason/p/13935292.html 方法一 import scrapy class FySpider(scrapy.Spider): name = 'fy' # allowed_domains = ['www.baidu.com'] start_urls = ['https://fanyi.baid
使用scrapy下载文件
shuizhongmose的专栏
12-06 865
使用的scrapy版本是1.8.x 官方文档：https://docs.scrapy.org/en/latest/topics/media-pipeline.html 在scrapy中，提供了两个下载文件的pipeline，分别是： scrapy.pipelines.images.ImagesPipeline scrapy.pipelines.files.FilesPipeline 其中sc...
网络爬虫之Scrapy实战四：爬取网页下载图片
06-09 8474
本节介绍了如何利用scrapy下载网页上的图片
利用Scrapy框架下载图片报403状态码
07-12
遇到403状态码表示服务器拒绝您的请求。这可能是由于您的请求被服务器认为是非法或未经授权的。要解决这个问题，您可以尝试以下几个方法： 1. 修改请求头：有些网站会对用户发送的请求头进行检查，如果检测到非正常...
scrapy框架使用(图片储存,下载中间件)
06-15
图片管道会自动下载图片，并按照你设定的规则进行处理，如重命名、缩略图生成等。你还可以自定义图片的过滤条件，比如根据图片大小、类型等进行筛选。 接下来，我们讨论一下**下载中间件**。在Scrapy中，下载中间件...
python scrapy框架讲解
02-05
在实践过程中，你可能还会遇到反爬策略，如验证码、IP限制等，这时就需要利用Scrapy的中间件来解决。 总的来说，Python Scrapy框架提供了丰富的功能，使爬虫开发变得容易上手且可扩展性强。无论你是新手还是有经验...
scrapy 2.5.1 使用中出现的一些问题
最新发布
qq_45491768的博客
09-13 153
报错 ImagesPipeline requires installing Pillow 4.0.0 or later。
scrapy的ImagesPipeline无法下载图片，管道也开启了什么都配置了就是无法下载图片 [scrapy.pipelines.files] WARNING: File (code: 301):
qq_41007870的博客
09-26 1950
scrapy的ImagesPipeline无法下载图片，管道也开启了什么都配置了就是无法下载图片 [scrapy.pipelines.files] WARNING: File (code: 301): 这里先重点说一下教训， 配置文件中 LOG_LEVEL 字段的设置一定不要只设置成 ERROR 至少应该是 WARNING 就是因为没有任何异常和错误信息盲目的去找一直找不到正确答案，痛失一天时间。 无法下载图片的原因： 看看自己的pillow库是不是 4.0.0 版本以上的，如果不是请重新 p
scrapy爬虫框架入门实例
niutou_ren的博客
06-14 672
原文地址：http://blog.csdn.net/zjiang1994/article/details/52779537，博主：肚子_肚子。（此文转载，已争取博主同意） 注意：经多人告知，慕课网的页面结构已经变了，所以说该案例实际上已经不能达到抓取目的。但是关于scrapy爬虫框架整体的使用方式和流程目前还是正确的，可以进行参考 以上这段博主后来加在博客前面的一段话 我的第一个
scrapy下载图片问题
wocan23的专栏
02-10 2496
1. get_media_requests方法调用一次 2.file_path方法调用二次2017-02-10 14:51:32 [scrapy] DEBUG: Crawled (200) (referer: None) 2017-02-10 14:51:32 [scrapy] DEBUG: File (downloaded): Downloaded file from referred
python使用scrapy爬取图片
人生苦短， 还不用Python？
06-04 1398
在前面的章节中都介绍了scrapy如何爬取网页数据，今天介绍下如何爬取图片。 下载图片需要用到ImagesPipeline这个类，首先介绍下工作流程： 1 首先需要在一个爬虫中，获取到图片的url并存储起来。也是就是我们项目中test_spider.py中testSpider类的功能 2 项目从爬虫返回，进入到项目通道也就是pipelines中 3 在通道中，在第一步中获取到的图片url将...
已解决urllib.request.urlretrieve下载文件报错403
努力让自己发光，对的人才能迎着光而来
09-30 9703
已解决（python使用urlopen/urlretrieve下载文件时出现403 forbidden）urllib.error.HTTPError: HTTP Error 403: Forbidden
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值