python爬虫过程报错：http.client.RemoteDisconnected: Remote end closed connection without response

最新推荐文章于 2024-09-12 08:01:34 发布

dldfigo

最新推荐文章于 2024-09-12 08:01:34 发布

阅读量3.4w

点赞数 11

分类专栏： python

python 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

爬虫过程报错：http.client.RemoteDisconnected: Remote end closed connection without response

因为服务器根据 UA 来判断拒绝了 python 爬虫。

添加

headers = {'User-Agent': 'User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'}

伪装成google浏览器

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

dldfigo

关注关注

11
点赞
踩
8

收藏

觉得还不错? 一键收藏
5
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

PYTHON爬虫之urllib库学习笔记

qq_41007358的博客

12-30

1110

PYTHON爬虫之urllib库学习笔记 urllib.request.urlopen urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

【Python】py3.6请求网站时报错：http.client.RemoteDisconnected: Remote end closed connection without response

小白兔的窝

02-25

2万+

爬虫代码报错：http.client.RemoteDisconnected: Remote end closed connection without response 原因：服务器限制了User-Agent的访问。 1.什么是user-agent? 有一些网站不喜欢被爬虫程序访问，所以会检测连接对象，如果是爬虫程序，也就是非人点击访问，它就会不让你继续访问，所以为了要让程序可以正常运行...

5 条评论您还未登录，请先登录后发表或查看评论

urllib3.exceptions.ProtocolError: (‘Connection aborted.‘, error(10054, ‘现有连接被远程主机强行关闭‘))

最新发布

wangbadan121的专栏

09-12

666

如果你使用的是人工智能大模型，那么这种网络问题可能涉及到你的模型与服务器之间的连接问题。在这种情况下，你需要确保你的模型能够处理这种情况，并且在出现错误时提供有用的反馈给用户。你可以尝试访问一个正常的网站，然后停止这个网站的服务。当你运行上述代码时，你应该会遇到`ProtocolError`，然后你可以通过增加错误处理机制来修复这个问题。3. 检查你的代码：检查你的代码中是否出现了连接超时、服务器未响应等问题。4. 增加错误处理机制：在你的代码中加入异常处理机制，以捕获并处理这个特定的网络问题。

爬虫请求网站时报错http.client.RemoteDisconnected: Remote end closed connection without response 请求网站时报错

wangyifan123456zz的博客

11-03

9608

USER_AGENTS = [ "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0

http.client.RemoteDisconnected: Remote end closed connection without response相关问题的解决

weixin_73817187的博客

02-22

6100

这里我用的是http协议，请求的url也是http协议，这个位置测试网站换成https://blog.csdn.net/lovlu18 协议时，它还是可以得到响应，这个因为没有。通俗点来说，就是如果添加了UA之后，问题还没有得到解决，就看一下你请求的网站，是不是https,如果是，就改为http试一下，即建议大家使用。大多数网站都会对用户请求中的 User-Agent 进行检测，如果没有在请求头中设置 User-Agent，那么就会抛出异常。遇到这类的问题，在使用 Python 爬虫库中的。

Python做有道翻译的的时候报http.client.RemoteDisconnected: Remote end closed connection without response

xiaosheng

06-26

5536

一开始只是加了头部信息，然后运行就报错，后来想着不是不没有加form信息，最后发现果然是这样， form = { "i":"inout", "from":"AUTO", "to":"AUTO", "smartresult":"dict", "client":"fanyi

成功解决：python爬虫http.client.RemoteDisconnected: Remote end closed connection without response

weixin_46569877的博客

07-14

1万+

python爬虫

python爬虫请求网站时报错：http.client.RemoteDisconnected

qq_41595507的博客

10-11

2820

请求网站时报错：http.client.RemoteDisconnected: Remote end closed connection without response 原因：服务器限制了部分User-Agent的访问解决方案: 添加User-Agent 原代码： data = urllib.request.urlopen(url).read().decode("utf-8", "ignore...

yolov5 http.client.RemoteDisconnected: Remote end closed connection without response

09-13

当你在使用yolov5时，遇到了报错http.client.RemoteDisconnected: Remote end closed connection without response。这个错误通常发生在你的程序试图与远程服务器建立连接时，但是远程服务器在没有响应的情况下关闭...

raise RemoteDisconnected("Remote end closed connection without"

12-13

print(response.status, response.reason) data = response.read() conn.close() except http.client.RemoteDisconnected: print("RemoteDisconnected exception occurred. Retrying connection...") # 重新...

Python 爬虫：http.client.RemoteDisconnected: Remote end closed connection without response 问题解决

疯魔coding君的博客

04-11

1万+

在使用 Python 爬虫库中的 urllib 或者 requests 库获取数据时，大多数网站都会对用户请求中的 User-Agent 进行检测，如果没有在请求头中设置 User-Agent，那么就会抛出如下异常： http.client.RemoteDisconnected: Remote end closed connection without response urllib 设置 User-Agent 示例如下： from urllib.request import urlopen, Req

成功解决：http.client.RemoteDisconnected: Remote end closed connection without response

安静到无声

04-07

7106

运行程序超时，有时可以正常运行，有时候显示如下错误：。问题定位问题分析：加载模型可能是由于网络问题，导致与训练权重难以下载，从而失败。通过远程访问github进行权重和网络模型的加载（有时候是可以成功的）：将加载的权重和模型离线另存：最后再加载保存的离线模型和权重即可：

爬取网页过程报错：RemoteDisconnected: Remote end closed connection without response

the_beginner的博客

06-28

1万+

有问题的代码： import urllib.request # 代码002：(未声明headers，会报错） response = urllib.request.urlopen("http://www.baidu.com") print(response) print(response.read()) 运行结果： Traceback (most recent call last): File "D:/PycharmProjects/pythonProject/douban/test1/temp.py"

Python3.6请求网站时报错：http.client.RemoteDisconnected: Remote end closed connection without response

热门推荐

东虫虾草博客

05-27

4万+

调整前的代码段： data = urllib.request.urlopen(url).read() 运行时报错： http.client.RemoteDisconnected: Remote end closed connection without response 调整后代码段： headers = {'User-Agent': 'User-

RemoteDisconnected: Remote end closed connection without response

weixin_30293135的博客

01-24

2256

爬智联招聘数据时候报错：“RemoteDisconnected: Remote end closed connection without response” 利用 urllib 发起的请求，UA 默认是 Python-urllib/3.5 而在 chrome 中访问 UA 则是 User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_...

人工智能 -- python3 爬虫：如何应对“反爬虫”？ ---- 爬虫时Request网站时报错：http.client.RemoteDisconnected

Acegem的博客

11-30

1191

请求网站时报错：http.client.RemoteDisconnected: Remote end closed connection without response 原因：服务器限制了部分User-Agent的访问解决方案: 添加User-Agent 例：源代码： data = urllib.request.urlopen(url).read().decode("utf-8", "ign...

Remote end closed connection without response

m0_50061234的博客

08-09

1万+

目录问题描述： 1.Remote end closed connection without response 在我丰富了我的headers之后报了下面这个错误。 2.ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。问题解决：问题描述：最近在python学习的时候，按照老师教的方法敲的代码（因为是过去的视频），已经不管用了。看了网上的原因， 1.频繁访问导致远程怀疑是恶意攻击 2.User-Agent被网

使用ip付费的代理是遇到http.client.RemoteDisconnected: Remote end closed connection without response 解决方法

zonewan

04-12

2万+

上图是我们使用代理是的报错信息，在网上搜索了一下，答案都是这个问题不需要的。这里我用的是http协议,ip是从X宝买的。请求的url也是http协议，下图是我测试ip的百度网站。这个位置犯了错误，https://www.baidu.com/ 百度真确写法。当然这个位置测试网站换成https://blog.csdn.net/lovlu18 协议时，它还是可以得到响应，这个因为没有ssl加密应用层的介...

http.client.RemoteDisconnected: Remote end closed connection without response

01-10

http.client.RemoteDisconnected: Remote end closed connection without response 是一个常见的网络连接错误，它表示远程服务器关闭了连接而没有返回任何响应。这个错误通常发生在以下几种情况下： 1. 连接超时：如果连接超时时间过长，服务器可能会主动关闭连接。可以尝试增加连接超时时间来解决这个问题。 2. 服务器负载过高：如果服务器负载过高，可能会导致服务器关闭连接以减轻负载。可以尝试在非高峰时段进行请求，或者联系服务器管理员解决负载问题。 3. 防火墙或代理问题：防火墙或代理服务器可能会中断连接，导致远程服务器关闭连接。可以尝试禁用防火墙或代理，或者联系网络管理员解决问题。 4. 请求错误：如果请求的URL或参数有误，服务器可能会关闭连接。可以检查请求的URL和参数是否正确。以下是一个示例代码，演示如何处理 http.client.RemoteDisconnected 错误： ```python import http.client try: conn = http.client.HTTPSConnection("www.example.com") conn.request("GET", "/") response = conn.getresponse() print(response.status, response.reason) data = response.read() # 处理响应数据 conn.close() except http.client.RemoteDisconnected as e: print("连接被远程关闭:", e) except Exception as e: print("发生其他错误:", e) ```