在scrapy源码中添加功能，对HTTP响应状态码493的url进行保存

最新推荐文章于 2019-12-17 11:51:48 发布
VIP文章 最新推荐文章于 2019-12-17 11:51:48 发布
阅读量4.3k 收藏 2
点赞数
分类专栏： python 文章标签： scrapy源代码 python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GBA_Eagle/article/details/81835180
版权

在scrapy爬虫过程中，遇到了这样一个问题：

[scrapy.spidermiddlewares.httperror] INFO: Ignoring response <493> HTTP status code is not handled or not allowed

我们翻译一下（百度翻译）：

忽略响应< 493 >不处理或不允许HTTP状态代码

经测试，该问题是源于IP代理的设置引起，目标网站可能有阻止代理IP访问的机制，只要关闭IP代理就能得到正确的响应（200）

但是在项目中又不得不使用IP代理，原因很多，例如有一些网站由于网络环境因素，直接爬取速度过慢，使用代理提高爬取速度等

于是只好把出现该问题的url全都保存下来

但是目标网址拒绝访问，连response都没有，怎么保存呢？

这时就需要研究scrapy源代码了

经过一下午的奋斗，终于找到了框架内部根据HTTP错误打印响应码的位置，是在scrapy.spidermiddlewares.httperror文件中

下面是进入该文件的方法

最低0.47元/天 解锁文章
RonnyChan
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HTTP 状态代码 错误列表
zhangnn5的专栏
10-03 2078
如果向您的服务器发出了某项请求要求显示您网站上的某个网页（例如，当用户通过浏览器访问您的网页或在 Googlebot 抓取该网页时），那么，您的服务器会返回 HTTP 状态代码以响应该请求。 此状态代码提供了有关请求状态的信息，且为 Googlebot 提供了有关您网站和请求的
SIP应答消息状态码
weixin_34361881的博客
08-18 1274
SIP应答消息状态码与功能类型 状态码 状态说明临时应答(1XX) 100 Trying 正在处理中180 Ringing 振铃181 call being forwarder 呼叫正在前向182 queue 排队181* session progress 会话进行会话成功(2XX) 200 OK 会话成功重定向(3XX) 300 multiple 多重选择301 move...
http常见的状态码
dw5235的博客
04-13 89
1 消息 ▪ 100 Continue ▪ 101 Switching Protocols ▪ 102 Processing //请求成功 2 成功 ▪ 200 OK ▪ 201 Created ▪ 202 Accepted ▪ 203 Non-Authoritative Information ▪ 204 No Content ▪ 205 Reset Content ...
HTTP各个状态返回值
qq_39477053的博客
05-11 888
1xx响应信息提示 这些状态代码表示临时的响应。客户端在收到常规响应之前，应准备接收一个或多个1xx • 100 - Continue 初始的请求已经接受，客户应当继续发送请求的其余部分。（HTTP 1.1新） • 101 - Switching Protocols 服务器将遵从客户的请求转换到另外一种协议（HTTP 1.1新） 2xx - 成功 这类状态代码表明服务器成功地接受了客户端请求。 •...
Scrapy框架爬取爱情诗送给女友项目源码
05-01
scrapy框架爬取诗词网站爱情诗项目，Pycharm工具打开项目，运行main.py文件 Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。
HTTP协议状态码总结
03-20
HTTP协议状态码总结 HTTP STATUS
基于scrapy抓取图片demo源码.zip
05-17
基于scrapy抓取图片demo源码.zip 效果查看 https://blog.csdn.net/chendongpu/article/details/124819293
http状态码
Wangjunhe0819的博客
08-22 573
1.消息 2.成功 3.重定向 4.请求错误 5.服务器错误 304：响应禁止包含消息体，如果客户端发送了一个带条件的 GET 请求且该请求已被允许，而文档的内容（自上次访问以来或者根据请求的条件）并没有改变，则服务器应当返回这个状态码。 305：被请求的资源必须通过指定的代理才能被访问。 400：语义有误，当前请求无法被服务器理解。除非进行修改，否则客户端不应该重复提交这个请求，或者请求参...
HTTP 请求服务返回的状态码
tanqingfu1的博客
12-17 292
当浏览器从 web 服务器请求服务时，可能会发生错误。从而有可能会返回下面的一系列状态消息： 1xx: 信息 2xx:信息 3xx:信息 4xx：信息 5xx：信息 ...
http响应状态码大全（转）
zcy0xy的博客
11-28 2038
http状态返回代码 1xx（临时响应） 表示临时响应并需要请求者继续执行操作的状态代码。 http状态返回代码:  代码   说明 100   （继续） 请求者应当继续提出请求。 服务器返回此代码表示已收到请求的第一部分，正在等待其余部分。  101   （切换协议） 请求者已要求服务器切换协议，服务器已确认并准备切换。 http状态返回代码 2xx （成功） 表示成功
HTTP状态码大全（版本1）
12-14
最全的HTTP状态码大全！最全的HTTP状态码大全！最全的HTTP状态码大全！
如何在scrapy中捕获并处理各种异常
01-19
前言     使用scrapy进行大型爬取任务的时候（爬取耗时以天为单位），无论主机网速多好，爬完之后总会发现scrapy日志中“item_scraped_count”不等于预先的种子数量，总有一部分种子爬取失败，失败的类型可能有如下图两种（下图为scrapy爬取结束完成时的日志）： scrapy中常见的异常包括但不限于：download error（蓝色区域）, http code 403/500（橙色区域）。 不管是哪种异常，我们都可以参考scrapy自带的retry中间件写法来编写自己的中间件。 正文      使用IDE，现在scrapy项目中任意一个文件敲上以下代码： from
scrapy-bench:用于对Scrapy进行基准测试的CLI
05-09
Scrapy的基准CLI （该项目仍在开发中。） 用于对Scrapy进行基准测试的命令行界面，可反映实际使用情况。 为什么？ 当前，当前的scrapy bench选项仅产生一个蜘蛛，该蜘蛛会以较高的速度积极地爬行随机生成的链接。 这样获得的速度（可能对比较有用）实际上并未反映实际情况。 实际速度会因python版本和scrapy版本而异。 当前功能 生成一个占用大量CPU的爬虫，该爬虫遵循网站的静态快照的固定数量的链接。 遵循一种实际情况，在该情况下，将图书的各种信息提取出来并存储在.csv文件中。 广泛的抓取基准测试，它使用1000的网站抓取”副本进行复制，这些副本是使用twisted动态生成的。 服务器文件。 一个微型基准测试，它通过从html页面集合中提取链接来测试LinkExtractor（）函数。 微型基准测试，用于使用html页面集合中的css测试提取。 微
Scrapy网站爬虫源码.zip
08-23
Scrapy网站爬虫源码
手机号码的正则表达式【python描述】
RonnyChan的博客
08-17 4996
# -*- coding:utf-8 -*- import re def ReTel(tn): reg = "1[3|4|5|7|8][0-9]{9}" return re.findall(reg, tn) print(ReTel("17722548365")) # 正确 print(ReTel("xxddewl")) # 号码不合法 print(ReTel("12...
python爬虫实习生面试经验分享【卖座网】
RonnyChan的博客
08-27 3867
十六号那天，我在宿舍睡到11:44分，收到HR电话商量面试时间，因为是被电话吵醒的，没考虑就说了当天下午15:00。说完挂了电话，我马上意识到犯了个很严重的错误，我应该说明天下午三点的，当天下午就去面准备时间太少了。。吃一堑长一智。 时间紧迫，准备面试（搜了一些python题目，爬虫面试题，看了以前写的自我介绍），一边胡乱吃了午饭（超市乌冬面），穿好黑色长裤和一件短袖衬衫，时间来到两点半，还没打...
写一个函数，判断两个列表是否有交集（不要用for)
RonnyChan的博客
08-30 3173
# Determine whether two lists have intersection. def isInter(a,b): result = list(set(a)&amp;set(b)) if result: return True else: return False # test lst1 = [0,1,2,3,4,5,6,7,8,...
规范进行一个爬虫项目【经验分享：参考教学书籍，爬取books.toscrape.com上的书籍信息】
RonnyChan的博客
08-13 2725
如何规范开始一个python爬虫？传送门：https://blog.csdn.net/GBA_Eagle/article/details/81611348 教学书籍：《精通Scrapy网络爬虫》 项目需求： 爬取http://books.toscrape.com网站中的书籍信息。 （1）信息包括： 书名、价格、评价等级、产品编码、库存量、评价数量。 （2）将爬取结果保存到csv文件中。...
scrapy中在pipline中保存csv
最新发布
05-01
在Scrapy中，可以通过编写Item Pipeline来将数据存储到CSV文件中。以下是一个示例Item Pipeline的代码，用于将数据写入CSV文件： ```python import csv class CsvPipeline(object): def __init__(self): self.file = None self.writer = None def open_spider(self, spider): self.file = open('data.csv', 'w', encoding='utf-8', newline='') self.writer = csv.writer(self.file) self.writer.writerow(['title', 'author', 'content']) def close_spider(self, spider): if self.file: self.file.close() def process_item(self, item, spider): self.writer.writerow([item['title'], item['author'], item['content']]) return item ``` 在这个示例中，`open_spider()`方法在爬虫启动时被调用，用于打开CSV文件并创建一个CSV写入器。`close_spider()`方法在爬虫完成时被调用，用于关闭CSV文件。`process_item()`方法被用于处理每个Item，将其写入CSV文件中。 在settings.py文件中，需要启用该Item Pipeline： ```python ITEM_PIPELINES = { 'myproject.pipelines.CsvPipeline': 300, } ``` 在这个示例中，`CsvPipeline`被赋予了一个优先级300，这意味着它将在其他Item Pipeline之前运行。 注意：在示例中，我们使用了`newline=''`，这是为了避免在Windows系统中出现换行符问题。如果您在其他操作系统上运行代码，可能需要删除该参数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值