Python requests“Max retries exceeded with url” error

最新推荐文章于 2024-08-07 17:13:59 发布

无形的风（知乎）

最新推荐文章于 2024-08-07 17:13:59 发布

阅读量6.6w

点赞数 7

分类专栏： python 文章标签： python request retries

本文链接：https://blog.csdn.net/shi_weihappy/article/details/51009602

版权

python 专栏收录该内容

22 篇文章 21 订阅

订阅专栏

今天写python网络爬虫的时候遇到一个问题，报错的具体内容如下：

HTTPConnectionPool(host='dds.cr.usgs.gov', port=80): Max retries exceeded with url: /ltaauth//sno18/ops/l1/2016/138/037/LC81380372016038LGN00.tar.gz?id=stfb9e0bgrpmc4j9lcg45ikrj1&iid=LC81380372016038LGN00&did=227966479&ver=production (Caused by NewConnectionError('<requests.packages.urllib3.connection.HTTPConnection object at 0x105b9d210>: Failed to establish a new connection: [Errno 65] No route to host',))

多方查阅后发现了解决问题的原因：http连接太多没有关闭导致的。

解决办法：

1、增加重试连接次数

  requests.adapters.DEFAULT_RETRIES = 5

2、关闭多余的连接

requests使用了urllib3库，默认的http connection是keep-alive的，requests设置False关闭。

操作方法

s = requests.session()
  s.keep_alive = False

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

无形的风（知乎）

关注关注

7
点赞
踩
23

收藏

觉得还不错? 一键收藏
15
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Python 中错误 ConnectionError: Max retries exceeded with url

迹忆客

03-06

3052

在调用时指定正确且完整的 URL。不受 API 的速率限制。requests 模块能够验证站点的 SSL 证书。可以访问互联网。

python爬虫关于Max retries exceeded with url 的错误

06-30

1235

爬取安逸花 https://vayh.msxf.com/ 时出现这种错误，总结如下： 1.https连接太多没有关闭导致的433，解决方法： import requests requests.adapters.DEFAULT_RETRIES = 5 # 增加重连次数 s = requests.session() s.keep_alive = False # 关闭多余连接 s.get(url) ...

15 条评论您还未登录，请先登录后发表或查看评论

python requests max retries_python requests报Max retries exceeded with url异常

weixin_39859055的博客

12-23

391

项目中有个模块是定时获取设备状态的，通过设备的http请求访问获取返回的状态码，然后根据状态码检测设备是否在线。但是最近发现连接后出现了偶尔连接不上的情况，报错如下：2018-06-14 15:51:42,076 - configuration_model - ERROR - HTTPSConnectionPool(host='10.1.1.1', port=443): Max retries e...

【Python】requests获取网络响应的时候，遇到url超过最大重试次数的解决方法

热门推荐

学无止境、积少成多、厚积薄发

04-28

2万+

在本地机器上，高频率重复调用一个API接口，出现“Max retries exceeded with url”，拒绝连接的情况。楼主讲一下，遇到这个bug的过程：在服务器上开发了一个识别图像文字API接口，也部署好了，准备对接口进行测试，楼主准备对本地文件夹中的2000多张图片进行测试，也就是说需要重复调用API接口2000多次。请求接口50多次的时候，接口就不反馈信息了，报错，连接错误，无法连接，一开始以为是网络的问题，然后又重头开始调用直到调了300多次，报错，连接错误，无法连接，一直这么下去大

【Python】关于Caused by SSLError Max retries exceeded with url 的错误

小白兔的窝

03-17

9623

可能的问题和解决方法如下： 1.http连接太多没有关闭导致的解决方法1：关闭多余链接 import requests requests.adapters.DEFAULT_RETRIES = 5 # 增加重连次数 s = requests.session() s.keep_alive = False # 关闭多余连接 s.get(url) # 你需要的网址解决办法2：增加重连次数 requests.adapters.DEFAULT_RETRIES = 5 2.访问次数频繁，被禁..

Requests报错：requests.exceptions.SSLError: HTTPSConnectionPool 和 Max retries exceeded with url

苏寅的博客

11-26

1740

场景描述在使用Requests高频率请求一些链接的时候，经常会遇到类似requests.exceptions.SSLError: HTTPSConnectionPool的报错，那么遇到这种情况该怎么办呢？代码示例 import urllib3 import requests # 关闭在设置了verify=False后的错误提示 urllib3.disable_warnings() # verify=False：关闭证书验证 requests.get(url=url, headers=headers,

Processing exception: HTTPConnectionPool(host=‘slave3‘, port=9988): Max retries exceeded with url: /

m0_37541370的博客

05-28

572

进入hue数据库，将desktop_conf表的quart配置slave3改成master。

【爬虫 | Python】解决‘Requests Max Retries Exceeded With Url‘报错的问题

InetGeek的博客

03-12

2万+

【爬虫 | Python】解决'Requests Max Retries Exceeded With Url'报错的问题, Max retries exceeded with url; Connection timed out;

Python requests组件BUG解决：Max retries exceeded with

何以清风

08-23

6524

如果大家使用Python来写爬虫的时候，都会使用到requests组件。这个组件是Python调用其他地址最好用的组件之一。但是今天在Python的web项目中遇到了HTTPConnectionPool（host:XX）Max retries exceeded with url 的BUG。 BUG代码如下： result_data = requests.get(tiantian_url,...

python requests库爬取网站出现Max retries exceeded with url 的错误

weixin_43178315的博客

07-01

1337

python requests库爬取网站出现Max retries exceeded with url 的错误，解决方法很简单：原因是验证了https网站证书的安全性。只需将verify置为False，则不会验证https网站证书的安全性（无论是否在第三方机构认证都可以正常访问），并使用从源网站接收的公钥进行加密通信。在requests.get方法里加上verify=False参数，举例如下： response = requests.get('https://api.github.com/',

Max retries exceeded with url

fwpevil的博客

02-22

658

用python3.7在学习一段时间requests库后，今天写了一个爬取图片的爬虫，写完后刚爬了三张图片就出现这个错误了，然后速度找度娘，找了好几个，报这种错的原因有好几个。我看了一下发现是我没设置休眠时间，加上这行代码再次运行就好了。 time.sleep(1) 如果小伙伴不是我这个原因，请移步这里看一下...

Python 报错 Max retries exceeded with url 解决方案

清平乐的技术专栏

06-26

1301

默认的http connection是keep-alive的，在post请求中，header中有这样一个字段：Connection，我们将其置为’close’requests使用了urllib3库，默认的http connection是keep-alive的，requests设置False关闭。

【解决】Python——Max retries exceeded with url: (Caused by NewConnectionError(‘＜urllib3.connection

爱喝星冰乐的博客

09-03

1万+

解决使用requests库请求时，时间长并报错的问题

Max retries exceeded with url:

09-01

错误"Max retries exceeded with url"表示在尝试多次连接一个URL后，仍然无法建立成功的连接。这种错误可能有多种原因。一种可能是传递给request.get()方法的URL不正确或不完整。另一种可能是受到API的速率限制，超过了允许的连接次数。还可能是requests模块无法验证目标网站的SSL证书。要解决这个错误，首先要确保在调用request.get()时传递正确且完整的URL。此外，还要确保不受API的速率限制，可以通过调整请求的频率来避免超过限制。如果requests模块无法验证目标网站的SSL证书，可以尝试使用其他方法来验证证书或绕过验证。最后，还可以检查网络连接是否正常，确保可以访问互联网。如果出现类似"ConnectionError: HTTPConnectionPool(host='xxx.xx.xxx.xxx', port=xxxx): Max retries exceeded with url: /api/v1/login/ (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f7c98a867d0>: Failed to establish a new connection: [Errno 111] Connection refused',))"的错误提示，说明请求过于频繁。一种解决方法是使用sleep方法来减缓请求的频率。另一种解决方法是关闭多余的连接，可以使用以下代码来关闭多余的连接： s = requests.session() s.keep_alive = False 综上所述，当出现"Max retries exceeded with url"错误时，可以通过确保传递正确的URL、避免API速率限制、验证SSL证书、检查网络连接等方法来解决问题。123 #### 引用[.reference_title] - *1* *2* [Python 中错误 ConnectionError: Max retries exceeded with url](https://blog.csdn.net/fengqianlang/article/details/129368257)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [解决“Max retries exceeded with url”问题](https://blog.csdn.net/buki26/article/details/85004675)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]