爬虫报错：twisted.web._newclient.ResponseNeverReceived

最新推荐文章于 2023-01-03 10:50:29 发布
最新推荐文章于 2023-01-03 10:50:29 发布
阅读量1k 收藏
点赞数
分类专栏： 爬虫进阶 Python 文章标签： 爬虫 python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45060674/article/details/127398539
版权
在使用Scrapy进行数据爬取时遇到错误，尝试调整xpath路径和更换IP无效。经过研究发现在GitHub上找到解决方案，问题在于cryptography与libssl的版本不兼容。通过将pyOpenSSL和cryptography降级到特定版本成功解决了连接过时服务器的问题。实测此方法可行。
摘要由CSDN通过智能技术生成

我在使用scrapy进行数据爬取的过程中，出现了标题所示的报错信息。一开始以为是自己xpath路径写的有问题，然而没有用。于是百度搜索，以为是爬取频率略高被识别了，换了ip，还是报错，终于在github上找到了解决办法，这里仅供参考，因为每个人遇到的具体情况存在差异，只有不断尝试才知道怎么解决。（原贴详见蓝色链接）

简单来说，就是cryptography就是捆绑了 libssl，因此需要降低版本以便顺利连接过时的服务器。实测降低pyOpenSSL和cryptography至图二版本即可

问题提出：
在这里插入图片描述
对比（修改后，主要看版本数↓）
在这里插入图片描述

实测降低pyOpenSSL和cryptography至图二版本即可

在这里插入图片描述
响应成功！！

是璇子鸭
关注
专栏目录
python turtle代码示例-Python turtle.left方法代码示例
weixin_39673184的博客
11-11 2794
本文整理汇总了Python中turtle.left方法的典型用法代码示例。如果您正苦于以下问题：Python turtle.left方法的具体用法？Python turtle.left怎么用？Python turtle.left使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在模块turtle的用法示例。在下文中一共展示了turtle.left方法的...
scrapy--(failed 3 times): [＜twisted.python.failure.Failure twisted.web._newclient.ParseError
weixin_45044349的博客
11-02 1304
问题： [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) (failed 3 times): [<twisted.python.failure.Failure twisted.web._newclient.ParseError: (‘wrong number of parts’, b’’)>] 理论知识： 1、在使用Scrapy框架中URl被重定向 2、根据 HTTP标准 ，返回值为200-300之间的值为成功的re
scrapy 报错twisted.webnewclient.ResponseNeverReceived。。。及附上请求头大全
热门推荐
郑德帅
03-12 1万+
报错代码： twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side was lost in a non-clean fashion.>]...
scrapy-提示“twisted.web._newclient.ResponseNeverReceived”错误
聂发俊的博客
04-19 2355
1.错误信息 Traceback (most recent call last): File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/scrapy/core/downloader/middleware.py", line 42, in process_request d...
scrapy中出现这个错误twisted.web._newclient.ResponseNeverReceived
weixin_44274975的博客
03-09 3430
就是setting中的USER_AGENT需要一个代理，直接把百度的USER_AGENT粘过来就可以了
scrapy爬虫错误笔记------twisted.python.failure.Failure twisted.internet.error.ConnectionDone: Connection
qq_40176258的博客
12-28 1万+
今天使用scrapy爬虫的时候，运行时报了下面的错： Traceback (most recent call last): File "d:\python\lib\site-packages\scrapy\core\downloader\middleware.py", line 43, in process_request defer.returnValue((yield down...
twisted.web._newclient.ResponseNeverReceived
03-07
抱歉，我可以回答这个问题。twisted.web._newclient.ResponseNeverReceived 是 Twisted 框架中的一个异常，表示在接收响应时出现了错误，可能是由于网络连接问题或服务器故障等原因导致的。
使用爬虫报错twisted.internet.error.DNSLookupError: DNS lookup failed: no results for hostname lookup: https.
最新发布
05-18
这个错误通常是由于 DNS 解析失败导致的。可能是因为 DNS 服务器无法解析主机名，也可能是因为您的网络连接存在问题。 您可以尝试以下步骤来解决这个问题： 1. 确认您的网络连接正常，尝试访问其他网站查看是否...
Python库 | twisted_iocpsupport-1.0.2rc0-cp38-cp38-win_amd64.whl
04-04
资源分类：Python库 所属语言：Python 资源全名：twisted_iocpsupport-1.0.2rc0-cp38-cp38-win_amd64.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
twisted_iocpsupport-1.0.1-cp39-cp39-win32
08-19
twisted_iocpsupport-1.0.1-cp39-cp39-win32
scrapy安装所依赖的所有包python,openssl,twisted,w3lib等以及安装过程
11-10
此文件包含安装scrapy所依赖的所有包，以及详细的安装过程。我已经被网上blog里面安装scrapy搞疯了，各种说的模糊。
scrapy处理报错
Monkey_9527的博客
01-03 281
scrapy出现以下报错twisted.web._newclient.ResponseNeverReceived: []pycharm卸载并安装全新版本。
【Scrapy】【SSL】scrapy中HTTPS协议握手报错问题
Steven_nie的博客
01-07 1558
记录一个SSL问题： twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure OpenSSL.SSL.Error: [('SSL routines', 'ssl23_read', 'ssl handshake failure')]>] 官方文档： DOWNLOADER_CLI...
python 网络框架twisted基础学习及详细讲解
anfeng4628的博客
08-14 1419
twisted网络框架的三个基础模块：Protocol, ProtocolFactory, Transport.这三个模块是构成twisted服务器端与客户端程序的基本。Protocol：Protocol对象实现协议内容，即通信的内容协议ProtocolFactory: 是工厂模式的体现，在这里面生成协议Transport: 是用来收发数据，服务器端与客户端的数据收发与处理都是基于这个模...
python_scrapy_twisted.web.error.SchemeNotSupported: Unsupported scheme: b''_及解决
jss19940414的博客
12-26 5929
问题描述:在使用scrapy框架的middleware中间件，去尝试使用代理，执行后就会报错 2018-12-26 00:39:30 [scrapy.core.scraper] ERROR: Error downloading &lt;GET http://httpbinorg/get/&gt; Traceback (most recent call last): File "e:\ana...
重装系统：Openssl恢复
python__reported的博客
05-11 1751
重装系统：Openssl恢复一、现象二、原因 一、现象 运行scrapy时遇到报错 twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure OpenSSL.SSL.Error: [('SSL routines', 'ssl3_get_record', 'wrong version number')]>] 重装系统前是没有这个问题的，重装系统后遇到了，pyopenssl一直安装着， 二、原因 就
python-面向对象-07类对象/元类metaclass
聂发俊的博客
05-04 236
1.引题 类对象？是什么鬼？对象不是类的实例么，那类对象是什么意思？在Python中，普通类既是一个类，但同时也是一个对象(也叫做类对象)，对的，你没有看错。不信？我们看一个例子。 class Student: pass # 空语句 # 实例化对象 s1 = Student() print("对象s1的id和type和__class__") print(id(s1)) p...
python爬虫之十一_scrapy框架经验、错误
IMchg的博客
11-05 4831
发是发发发的
scrapy报错：twisted.python.failure.Failure twisted.web._newclient.ParseError
qq_41020281的博客
12-25 6002
scrapy项目开发过程中，scrapy运行请求返回解析错误： 2018-12-21 13:02:19 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying &lt;GET https://map.haodf.com/hospital/DE4raCNSz6Om-9cfC2nM4CIa/map.htm&gt; (failed 1 times):...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值