Scrapy爬虫小技巧02：HTTP status code is not handled or not allowed的解决方法

最新推荐文章于 2022-04-29 21:52:55 发布
最新推荐文章于 2022-04-29 21:52:55 发布
阅读量5.3k 收藏 9
点赞数 1
文章标签： python 数据挖掘 windows
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41961559/article/details/105382622
版权

在scrapy爬虫的过程中出现 HTTP status code is not handled or not allowed 的问题导致爬虫无法继续，如下截图：
302
解决方式：

  • 在settings.py文件中添加：

HTTPERROR_ALLOWED_CODES = [302]

  • 截图中报错302，就在括号里添加302。若报错403就添加403。

附加说明：

相关笔记：

最低0.47元/天 解锁文章
Lynn Wen
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Scrapy爬虫之解决“’Rule’ object is not iterable”
01-20
Scrapy爬虫之解决“‘Rule’ object is not iterable” Scrapy爬虫出现“‘Rule’ object is not iterable”时，意思是rule规定的正则表达式无法迭代，无法进一步爬取到所规定的页面，现有以下几种解决方式供参考。 解决方法 检查是否有相关代码打错。 完善正则表达式 rules=( Rule(LinkExtractor(allow=rhttp://news.qq.com/omn/20200501/.*?.html),callback=parse_news,follow=True), ) 观察其他网
scrapy在python爬虫中搭建出错的解决方法
01-19
在之前文章给大家分享后不久，就有位小伙伴跟小编说在用scrapy搭建python爬虫中出现错误了。一开始的时候小编也没有看出哪里有问题，好在经过不断地讨论与测试，最终解决了出错点的问题。有同样出错的小伙伴可要好好...
HTTP status code is not handled or not allowed
weixin_45656577的博客
01-18 1957
用scrapy爬取知乎的时候 报错: 403 HTTP status code is not handled or not allowed 替换setting.py的默认headers无效, 直接使用User_Agent无效, 在中间件中 指定UA中间件无效 解决: 在setting.py里面加入: HTTPERROR_ALLOWED_CODES = [403] ...
HTTP status code is not handled or not allowed的解决方法
热门推荐
funnyPython的博客
11-04 3万+
/Books/>: HTTP status code is not handled or not allowed 2017-11-04 17:21:38 [scrapy.spidermiddlewares.httperror] INFO: Ignoring response <403 http://www.dmoz.org/Computers/Programming/Languages/Python
python初步学习中的问题之HTTP status code is not handled or not allowed
aov35990的博客
04-05 760
按照网上的教程学习python，最开始的dmoz_spider项目一直不能正常运行，一直出现下面的问题： 即http status code is not handled or allowed http状态代码没有被处理或允许， 一开始我不理解，在网上找了好多修改setting.py中的DOWNLOADER_MIDDLEWARES方法也没啥用，心疼自己英语太差，好多问题看不懂。...
scrapy报错HTTP status code is not handled or not allowed
qq_40176258的博客
03-18 6872
今天在使用scrapy爬取某网站时运行时报了如下错误： 可在settings.py中添加如下代码来解决此问题： HTTPERROR_ALLOWED_CODES = [403]
scrapy爬虫:scrapy.FormRequest中formdata参数详解
01-20
在网页爬取的时候，有时候会使用scrapy.FormRequest向目标网站提交数据（表单提交）。参照scrapy官方文档的标准写法是： # header信息 unicornHeader = { 'Host': 'www.example.com', 'Referer': '...
基于Python的网易新闻Scrapy爬虫：数据分析与可视化大屏展示-毕业源码案例设计.rar
最新发布
04-18
基于Python的网易新闻Scrapy爬虫：数据分析与可视化大屏展示-毕业源码案例设计.rar基于Python的网易新闻Scrapy爬虫：数据分析与可视化大屏展示-毕业源码案例设计.rar基于Python的网易新闻Scrapy爬虫：数据分析与可视...
pycharm下打开、执行并调试scrapy爬虫程序的方法
12-23
首先得有一个Scrapy项目，我在Desktop上新建一个Scrapy的项目叫test，在Desktop目录打开命令行，键入命令：scrapy startproject test1 目录结构如下： 打开Pycharm，选择open 选择项目，ok 打开如下界面...
scrapy爬取报HTTP status code is not handled or not allowed的可能解决方法
aGreySky的博客
03-19 2232
今天写爬虫时遇到了如题的问题，网上的解决方法都是修改get或post请求。但对我都没有用，因为我用postman测了下，get、post请求都能访问到。 网上找了很久，终于找到解决方法——在settings.py中关闭代理，如下即可 DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.useragent.UserAgent...
使用scrapy爬虫遇到403错误的解决办法
qq_42984581的博客
09-21 2506
之前使用scrapy爬虫遇到了403错误，参考了别人的解决办法，觉得还挺有用的。 运行代码提示错误：Ignoring response <403 http://basic.10jqka.com.cn/600004/company.html>: HTTP status code is not handled or not allowed 解决办法： 添加user-agent 1、打开开发...
scrapy 404 问题 & HTTP status code is not handled or not allowed
笑笑布丁的博客
09-25 2739
背景：在使用scrapy爬取网页时，当一个页面的http code是404时，scrapy会略掉它，然而，如果你想在爬虫里对http code是404，做特殊处理的时候，就不会应验。 解决办法： 在settings 文件里 加上 ： HTTPERROR_ALLOWED_CODES = [404] ...
【人工智能】10分钟教你学会爬虫Scrapy
沙师弟专栏
04-11 1万+
Scrapy是一个非常简单方便的爬虫框架了，本篇文章一步一步的教你几分钟学会爬虫。简单了解一下Scrapy的概念。它是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。本文是讲述的全过程，会比较详细。
scrapy中 HTTP status code is not handled or not allowed异常处理
u013109501的博客
08-20 8449
scrapy中的setting文件中添加 HTTPERROR_ALLOWED_CODES = [403]
Scrapy爬虫报错HTTP status code is not handled or not allowed
weixin_50197124的博客
04-29 981
爬取网页显示403HTTP status code is not handled or not allowed 解决方法： 在settings.py里把代理关掉： DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None, }
import scrapy class WeatherSpider(scrapy.Spider): name = 'weather' allowed_domains = ['tianqi.com'] start_urls = ['https://www.tianqi.com/'] def parse(self, response): city = 'beijing' # 自选城市 url = f'https://tianqi.com/{city}/' yield scrapy.Request(url, callback=self.parse_weather) def parse_weather(self, response): date = response.css('.week>p::text').get() weather = response.css('.weather span::text').get() temperature = response.css('.weather .temp::text').get() humidity = response.css('.weather .shidu::text').get() wind = response.css('.weather .zi .name::text').get() with open('weather.txt', 'a', encoding='utf-8') as f: f.write(f'{date} {weather} {temperature} {humidity} {wind}\n'上面的代码运行后在cmd中显示<403https://www.tianqi.com/>:HTTP status code is not handled or not allowed如何解决)
06-09
在你的代码中，你请求的 URL 是 https://tianqi.com/beijing/，而不是 https://www.tianqi.com/，这可能是引起 403 错误的原因之一。 此外，你需要在请求头中添加一个 User-Agent 字段，模拟一个浏览器的请求，以避免被网站反爬虫机制拦截。你可以在请求头中添加类似以下代码的字段： ``` headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' } yield scrapy.Request(url, headers=headers, callback=self.parse_weather) ``` 这里模拟的 User-Agent 是 Chrome 的一个版本，你可以根据需要更改。 最后，你可以添加一个错误处理函数，用于处理发生错误时的情况。你可以在 Spider 类中添加以下代码： ``` def handle_error(self, failure): self.logger.error(repr(failure)) ``` 然后在 Request 中添加 errback 参数，将错误处理函数传入即可： ``` yield scrapy.Request(url, headers=headers, callback=self.parse_weather, errback=self.handle_error) ``` 这样就可以在发生错误时打印出错误信息了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值