Scrapy爬虫报错HTTP status code is not handled or not allowed

最新推荐文章于 2024-07-14 20:20:34 发布
最新推荐文章于 2024-07-14 20:20:34 发布
阅读量1k 收藏 1
点赞数
分类专栏： PYTHON 文章标签： 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50197124/article/details/124505140
版权

爬取网页显示403 HTTP status code is not handled or not allowed

解决方法：

在settings.py里把代理关掉：

DOWNLOADER_MIDDLEWARES = {

'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,

}

潞祎Lois
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Scrapy爬虫小技巧02：HTTP status code is not handled or not allowed的解决方法
weixin_41961559的博客
04-08 5436
在scrapy爬虫的过程中出现 HTTP status code is not handled or not allowed 的问题导致爬虫无法继续，如下截图： 解决方式： 在settings.py文件中添加： HTTPERROR_ALLOWED_CODES = [302] 截图中报错302，就在括号里添加302。若报错403就添加403。 附加说明： scrapy框架中有许多默认...
Scrapy爬虫之解决“’Rule’ object is not iterable”
01-20
Scrapy爬虫之解决“‘Rule’ object is not iterable” Scrapy爬虫出现“‘Rule’ object is not iterable”时，意思是rule规定的正则表达式无法迭代，无法进一步爬取到所规定的页面，现有以下几种解决方式供参考。 ...
scrapy 404 问题 & HTTP status code is not handled or not allowed
笑笑布丁的博客
09-25 2749
背景：在使用scrapy爬取网页时，当一个页面的http code是404时，scrapy会略掉它，然而，如果你想在爬虫里对http code是404，做特殊处理的时候，就不会应验。 解决办法： 在settings 文件里 加上 ： HTTPERROR_ALLOWED_CODES = [404] ...
HTTP status code is not handled or not allowed的解决方法
weixin_44973982的博客
08-31 9878
用scrapy框架爬取豆瓣电影时，运行阶段遇到以下错误提示 在检查完代码确定无误后，试着在settings里面加上一个user-agent 程序成功爬取到了豆瓣电影数据 ...
爬取知乎碰到的问题-------------------------1、HTTP status code is not handled or not allowed
replat-xin
01-16 2304
HTTP status code is not handled or not allowed 解决： 只需在setting中添加 HTTPERROR_ALLOWED_CODES = [错误码]  
scrapy爬取报HTTP status code is not handled or not allowed的可能解决方法
aGreySky的博客
03-19 2273
今天写爬虫时遇到了如题的问题，网上的解决方法都是修改get或post请求。但对我都没有用，因为我用postman测了下，get、post请求都能访问到。 网上找了很久，终于找到解决方法——在settings.py中关闭代理，如下即可 DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.useragent.UserAgent...
python初步学习中的问题之HTTP status code is not handled or not allowed
aov35990的博客
04-05 775
按照网上的教程学习python，最开始的dmoz_spider项目一直不能正常运行，一直出现下面的问题： 即http status code is not handled or allowed http状态代码没有被处理或允许， 一开始我不理解，在网上找了好多修改setting.py中的DOWNLOADER_MIDDLEWARES方法也没啥用，心疼自己英语太差，好多问题看不懂。...
scrapy中 HTTP status code is not handled or not allowed异常处理
u013109501的博客
08-20 8466
scrapy中的setting文件中添加 HTTPERROR_ALLOWED_CODES = [403]
scrapy爬虫教程（一）–scrapy安装及生成项目
01-20
安装 在终端输入pip install，如果速度太慢指定国内镜像安装pip ...执行scrapy genspider 爬虫文件名 域名 如scrapy genspider lagou www.lagou.com，会在spiders文件夹中生成名为lagou.py的爬虫模板文件，该方式是
scrapy爬虫项目.zip
04-26
scrapy爬虫 link_spider 图片爬虫 rere_word 生僻字爬虫scrapy爬虫 link_spider 图片爬虫 rere_word 生僻字爬虫scrapy爬虫 link_spider 图片爬虫 rere_word 生僻字爬虫scrapy爬虫 link_spider 图片爬虫 rere_word ...
Python scrapy 爬虫入门（三）scrapy 爬虫示例
01-20
1 爬虫示例 要实现爬虫功能，只要执行四个步骤： 定义spider 类 确定 spider 的名称（name） 获取初始化请求（start_request） 解析数据 parse() 1.1 示例1 重写 start_request() 方法 示例1：重写 start_request() ...
可视化的Scrapy爬虫管理平台
08-22
Scrapy是一个强大的Python爬虫框架，它为网络数据抓取提供了高效的工具集。然而，对于大型项目或团队协作，管理多个Scrapy爬虫可能会变得复杂。这就是可视化的Scrapy爬虫管理平台发挥作用的地方。这个项目旨在提供一...
HTTP status code is not handled or not allowed
m0_70078987的博客
01-14 588
HTTP status code is not handled or not allowed
scrapy报错HTTP status code is not handled or not allowed
qq_40176258的博客
03-18 6899
今天在使用scrapy爬取某网站时运行时报了如下错误： 可在settings.py中添加如下代码来解决此问题： HTTPERROR_ALLOWED_CODES = [403]
解决HTTP status code is not handled or not allowed
weixin_30596735的博客
03-09 3365
/Books/>: HTTP status code is not handled or not allowed 2017-11-04 17:21:38 [scrapy.spidermiddlewares.httperror] INFO: Ignoring response <403 http://www.dmoz.org/Computers/Programming/Langua...
有关scrapy频繁报错301、302 HTTP status code is not handled or not allowed的解决方法
qq_29880515的博客
12-12 847
我查了一些方法都是在settings里设置停用301 302代码，治标不治本，还是拿不到数据。 然后我把settings里的 REDIRECT_ENABLED = False 这句话删掉，就可以拿到数据了！ 可能是因为重定向到headers的host地址了？搞不明白。。欢迎大家指正 ...
urllib的使用
最新发布
qq_39217312的博客
07-14 790
urllib时python的一个内置库，一共包含四个模块。
创建scrapy项目报错
07-25
创建scrapy项目报错可能有多种原因。根据引用\[1\]和引用\[2\]的内容，一种可能的原因是环境变量配置不正确。你可以检查一下环境变量是否包含了scrapy所需的路径。如果没有，你可以按照引用\[2\]中提到的步骤将这些路径添加到环境变量中。 另一种可能的原因是lxml库未正确安装。根据引用\[3\]的内容，你可以尝试卸载并重新安装lxml库来解决问题。你可以使用命令"pip uninstall lxml"来卸载lxml库，然后使用命令"pip install lxml"来重新安装。如果安装过程中出现报错，你可以尝试使用引用\[3\]中提到的命令来安装。 希望以上方法能够帮助你解决创建scrapy项目报错的问题。如果问题仍然存在，请提供更多的错误信息以便我们进一步帮助你解决。 #### 引用[.reference_title] - *1* [终端创建scrapy项目时报错（转）](https://blog.csdn.net/weixin_30315723/article/details/96402704)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [创建scrapy工程时报错 "ImportError: DLL load failed: 找不到指定的模块。"的解决方法](https://blog.csdn.net/weixin_44983177/article/details/105736786)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值