如何让 scrapy 不忽略 403的响应

最新推荐文章于 2023-03-29 11:10:58 发布
最新推荐文章于 2023-03-29 11:10:58 发布
阅读量725 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41692008/article/details/87694355
版权

在设置中加入

HTTPERROR_ALLOWED_CODES = [403]

这样 可以使403状态的响应不被自动忽略，可以自响应中对403 的响应做个性化处理

weixin_41692008
关注
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
孤寒者的博客
08-09 61万+
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
Scrapy 2.6 Downloader Middleware 下载器中间件内置参数
Mr数据杨
02-03 3万+
本教程详细介绍了 Scrapy 2.6 版本中内置的下载器中间件。每个中间件在不同的场景下提供了强大的功能，如自动处理 Cookies、遵循robots.txt规则、管理 HTTP 认证和代理等。通过理解和灵活运用这些中间件，开发者可以显著提升爬虫的性能和适应性。在实际应用中，这些工具帮助爬虫有效应对网络环境和目标网站的复杂性，实现高效、稳定的数据抓取。掌握这些中间件的使用后，你将能够更自信地设计和部署复杂的爬虫项目，并根据具体需求定制解决方案。
scrapy 让404不走failerr路线
weixin_34315189的博客
01-13 267
2019独角兽企业重金招聘Python工程师标准>>> ...
scrapy中shell出现403解决方案
jixn的博客
02-21 9059
我们使用scrapy shell来进行调试是很方便的，但是有时会出现403错误的问题，我们来解决这个问题： 出现403，表示网站拒绝提供服务 因为有的网站有反爬机制，当你使用scrapy shell的时候是以是scrapy爬虫的标识进行访问网站的，这时候网站会拒绝为爬虫提供服务，这时候就会返回403错误 下面列举三个方案来解决这个问题，三个方案的原理都是一样的，即修改user-agent的值，使...
scrapy 忽略|屏蔽请求
笑笑布丁的博客
10-28 1542
背景:有时候在scrapy中,我们经常会碰到一些我们并不需要的url请求,一是它会带来脏数据,而是它会占用请求资源,造成不必要浪费. 解决办法:碰到这种情况,我们可以自己写一个过滤这些请求的中间件(middleware). 比如,我的这个是它会在url里面有些关键字,当url中有这些关键字的时候,中间件就会把请求过滤掉.这是这个middleware的设计思路,下面来看具体怎么去实现它: # 需要用...
Scrapy爬虫小技巧02：HTTP status code is not handled or not allowed的解决方法
weixin_41961559的博客
04-08 5650
在scrapy爬虫的过程中出现 HTTP status code is not handled or not allowed 的问题导致爬虫无法继续，如下截图： 解决方式： 在settings.py文件中添加： HTTPERROR_ALLOWED_CODES = [302] 截图中报错302，就在括号里添加302。若报错403就添加403。 附加说明： scrapy框架中有许多默认...
scrapy 解决Redirecting 301 302重定向问题
菜鸡小白的成长记录
10-25 3万+
在使用Scrapy框架中URl被重定向，总是遇到这类问题: DEBUG: Redirecting (301/302) to <GET https://XXXX refer https://XXXX> 解决方式： 在Scrapy中的Request中添加 dont_filter=True，因为Scrapy是默认过滤掉重复的请求URL，添加上参数之后即使被重定向了也能请求到正常的数据了。 在Scrapy框架中的 settings.py文件里添加 HTTPERROR_ALLOWED_COD
Scrapy 2.6 Spider Middleware 爬虫页中间件内置参数
Mr数据杨
02-03 3万+
除了 Scrapy 提供的内置中间件，开发者还可以根据实际需求编写自定义的 Spider 中间件。自定义中间件允许你在请求和响应处理的各个阶段添加自定义逻辑，满足特定项目的需求。例如，你可以编写一个中间件来过滤掉某些特定的请求、修改请求头、处理特定的响应格式，或者记录额外的日志信息。在一个电商爬虫项目中，你可能需要对每个请求添加动态的用户代理（User-Agent），以模拟不同用户的访问行为。
Scrapy 2.6 Link Extractors 链接提取器使用方法
Mr数据杨
02-01 3万+
在现代网络爬虫开发中，链接提取是关键的一环。Scrapy 作为一个强大的 Python 爬虫框架，提供了丰富的工具和功能来帮助开发者高效地从网页中提取和处理链接信息。本文将详细介绍 Scrapy 2.6 中的链接提取器（Link Extractors）及其使用方法，重点讲解如何通过实例化和配置这些提取器，来实现对网页链接的精确抓取与处理。链接提取器提供了多种参数和方法，可以根据不同需求进行配置，以满足复杂的网页抓取需求。通过掌握这些参数的使用方法，开发者可以更灵活地定制爬虫的行为，提高爬取效率。
Scrapy 2.6 Spiders 爬虫脚本方法类
Mr数据杨
01-31 3万+
在使用Scrapy进行数据采集时，Spiders（爬虫脚本）是核心组件，它定义了如何抓取网站信息以及从网页中提取结构化数据。本文详细介绍了Scrapy 2.6版本中Spiders的创建和使用方法。使用Scrapy框架创建新的爬虫脚本。通过这一命令，用户可以快速生成一个新的爬虫脚本。这里的是可选的，用于指定使用的模板，而和则用于设置爬虫的名称和爬取范围。几个核心的爬虫方法，如parse等。这些方法在Scrapy爬虫的运行过程中扮演着重要角色，用于处理请求和响应，以及提取和存储数据。
scrapy 常见问题集锦
Loong的博客
12-06 995
1.解决301、302重定向 第一步：在请求时添加dont_filter=True，允许scrapy请求重复的url 第二步：在请求时添加'dont_redirect': True和'handle_httpstatus_list': [301,302] 完整内容如下： yield Request(url=self.url, headers=self.Headers, method='GET', callback=self.parse, dont_filter=True, meta={
常见的scrapy配置
最新发布
Awesome_py的博客
03-29 335
【代码】常见的scrapy配置。
【Scrapy】301、302重定向问题原因及解决办法
xiangxiang613的专栏
02-26 7371
Scrapy的301、302重定向问题原因及解决办法 根据 HTTP标准 ，返回值为200-300之间的值为成功的response。 Scrapy运行爬虫过程中，目标网站返回301或302，而没有获取到想要的网页内容，表示请求失败。eg： 2019-02-13 17:18:32 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023 2019-02-13 17:18:33 [scrapy.downloaderm
Scrapy爬虫错误日志汇总
weixin_34014555的博客
02-26 414
Scrapy爬虫错误日志汇总 1、数组越界问题(list index out of range) 原因：第1种可能情况：list[index]index超出范围,也就是常说的数组越界。 　　　第2种可能情况：list是一个空的， 没有一个元素，进行list[0]就会出现该错误，这在爬虫问题中很常见，比如有个列表爬下来为空，统一处理就会报错。 解决办法：...
scrapy中 HTTP status code is not handled or not allowed异常处理
u013109501的博客
08-20 8486
scrapy中的setting文件中添加 HTTPERROR_ALLOWED_CODES = [403]
HTTP status code is not handled or not allowed的解决方法
热门推荐
funnyPython的博客
11-04 4万+
/Books/>: HTTP status code is not handled or not allowed 2017-11-04 17:21:38 [scrapy.spidermiddlewares.httperror] INFO: Ignoring response <403 http://www.dmoz.org/Computers/Programming/Languages/Python
爬虫小知识（一）：Scrapy爬虫 捕获403状态码抛出CloseSpider异常
Mrrrrr10's Blog
09-05 3949
1、爬数据的时候，有时会遇到被该网站封IP等情况，response的状态码为403，那么这时候我们希望能够抛出 CloseSpider的异常。 2、但是如scrapy官网提到的，Scrapy默认的设置是过滤掉有问题的HTTP response(即response状态码不在200-300之间)。 因此403的情况会被ignore掉，也就是及时我们用response.status == 400判...
Scrapy中用xpath/css爬取豆瓣电影Top250：解决403HTTP status code is not handled or not allowed
明日韭菜
11-06 1万+
scrapy爬取豆瓣电影top25，采用了selector的xpath和css
[Scrapy使用技巧] 如何在scrapy中捕获并处理各种异常
Rei的博客
06-15 3万+
前言 使用scrapy进行大型爬取任务的时候（爬取耗时以天为单位），无论主机网速多好，爬完之后总会发现scrapy日志中“item_scraped_count”不等于预先的种子数量，总有一部分种子爬取失败，失败的类型可能有如下图两种（下图为scrapy爬取结束完成时的日志）： scrapy中常见的异常包括但不限于：download error（蓝色区域）, http code 40...
利用CrawlSpider构建Scrapy通用爬虫
每个Rule负责定义从起始URL到后续页面的爬取路径，包括链接提取策略以及如何解析响应内容。Rule的关键参数包括： 1. **link_extractor**：这是用于从页面中抽取链接的LinkExtractor对象，通常使用LxmlLinkExtractor...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值