PythonrequestsHTTP“Maxretriesexceededwithurl”error

最新推荐文章于 2024-08-07 17:13:59 发布
最新推荐文章于 2024-08-07 17:13:59 发布
阅读量686 收藏
点赞数
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/f_hawk189/article/details/81713757
版权

今天跑了一下之前写的额爬虫，发现频繁执行时会报出一个超过最大连接数的问题。

 

网上查了一下，

原因是http连接太多没有关闭导致的。

通俗来说就是每次爬取时建立一个HTTP连接，但是这个http连接没有结束，又新建了连接。

解决办法：

1、增加重试连接次数

  requests.adapters.DEFAULT_RETRIES = 5

2、关闭多余的连接

requests使用了urllib3库，默认的http connection是keep-alive的，requests设置False关闭。

  s = requests.session()


  s.keep_alive = False
一只小肥羊丶
关注
专栏目录
ProxyError: Conda cannot proceed due to an error in your proxy configuration解决方案
weixin_43178406的博客
06-19 8万+
本文主要介绍了ProxyError: Conda cannot proceed due to an error in your proxy configuration解决方案，希望能对使用conda的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
pip install dotenv出现error: subprocess-exited-with-error的解决方案
weixin_43178406的博客
05-07 8万+
本文主要介绍了pip install dotenv出现error: subprocess-exited-with-error，希望能对使用dotenv的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
【爬虫 | Python】解决‘Requests Max Retries Exceeded With Url‘报错的问题
InetGeek的博客
03-12 2万+
【爬虫 | Python】解决'Requests Max Retries Exceeded With Url'报错的问题, Max retries exceeded with url; Connection timed out;
python网络爬虫之Max retries exceeded with url错误
kobe26366的博客
06-19 868
ConnectionError: HTTPSConnectionPool(host=‘cq.feibaos.com’, port=443): Max retries exceeded with url: /news/lists-notice.html?req=t11-320100&word=&idx=49 (Caused by NewConnectionError(’<urllib3.connection.VerifiedHTTPSConnection object at 0x7fc4
【Python】requests获取网络响应的时候，遇到url超过最大重试次数的解决方法
最新发布
Meggie35的博客
08-07 592
解决“Maxretries exceeded with url”，url超过最大重试次数的方法
python报错：Max retries exceeded with url
qq_45632139的博客
09-01 555
问题：请求太频繁 解决： s = requests.session() s.keep_alive = False 如果不行可以去更新一下requests pip install --upgrade requests
Python异常处理 - Max retries exceeded with url
饱食而遨游，泛若不系之舟
06-30 3377
Max retries exceeded with url 遇到问题 在同时发送大量http请求的过程中，日志文件中报出Max retries exceesded with url的链接异常。经查询没有引发数据的漏报漏处理，但是异常的日志还是需要解决掉的。 解决办法 查询了一些博客，拿来主义试一下增加重连接次数。 具体的方法: import requests requests.adapters.DEFAULT_RETRIES = 5 # 增加重连次数 经过测试，没有再次发现日志中大量的max retr
解决“Max retries exceeded with url”问题
buki26的博客
12-14 6万+
用requests的post方法获取内容时，遇到以下报错： ConnectionError: HTTPConnectionPool(host=‘xxx.xx.xxx.xxx’, port=xxxx): Max retries exceeded with url: /api/v1/login/ (Caused by NewConnectionError(’&lt;urllib3.connection...
解决Max retries exceeded with url的问题
weixin_30825581的博客
09-08 1111
requests.exceptions.ConnectionError: HTTPSConnectionPool(host='itunes.apple.com', port=443): Max retries exceeded with url: /in/app/adobe-reader/id469337564?mt=8 (Caused by <class 'socket.gaierror'...
RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling `cublasGemmEx 解决方案
weixin_43178406的博客
06-12 8万+
本文主要介绍了RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling `cublasGemmEx 解决方案，希望能对学习pytorch的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
AttributeError: module ‘numpy‘ has no attribute ‘int‘解决方案
weixin_43178406的博客
06-20 8万+
本文主要介绍了AttributeError: module ‘numpy’ has no attribute 'int’解决方案，希望能对使用numpy的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案 2.1 方案一 2.2 方案二
RuntimeError: “LayerNormKernelImpl“ not implemented for ‘Half‘解决方案
weixin_43178406的博客
10-13 8万+
 本文主要介绍了RuntimeError: “LayerNormKernelImpl” not implemented for 'Half’解决方案，希望能对学习大模型的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
【Python爬虫】MaxRetryError：报错Failed to establish a new connection: [Errno 11001] getaddrinfo failed‘))
m0_56249083的博客
05-24 3121
适配器HTTPAdapter使用了强大的urllib3，为requests提供了默认的HTTP和HTTPS交互。每当Session被初始化，就会有适配器附着在Session上，其中一个供HTTP使用，另一个供HTTPS使用。有可能第一次获取某url的时候会失败，就需要失败重试（retry），这就跟max_retries有关。
python捕捉线程错误_Python requests 多线程抓取 出现HTTPConnectionPool Max retires exceeded异常...
weixin_42502378的博客
02-10 906
主要代码如下：import threadingimport requestsdef get_info():try:res = requests.get('http://www.xxx.com/test/json')if res.status_code == 200 and res.text != '':print res.textelse:print res.status_codetime.sle...
【Python 爬虫常见的报错及其解决方法】零基础也能轻松掌握的学习路线与参考资料
weixin_50409347的博客
05-20 1202
Python3 Requests库 requests.exceptions.ConnectionError （解决方法）: https://blog.csdn.net/liuyingcai_/article/details/78848141。ConnectionError 是在 requests 库中出现的异常，当 HTTP 请求连接异常时抛出。Python ValueError异常解决方法: https://blog.csdn.net/hy_yx/article/details/102566132。
解决Python requests库中HTTPS连接超过最大重试次数的方法
Leon_Jinhai_Sun的博客
02-02 830
解决Python requests库中HTTPS连接超过最大重试次数的方法
使用PaddleOCR训练自己的模型（1）
weixin_72924510的博客
02-23 564
2/20 11:24 在进行训练模型时，出现了不能识别bidi库的情况，下载后也不行，私以为是Python版本原因，打算等会儿重新来下载。2/20 11:00 寻找如何在anaconda环境下进入PaddleOCR-release-2.6目录。2/21 全天进行anaconda重新下载操作，记住下面这个要勾画好，anaconda下载位置也记牢。2/20 18:38 通过更换一个Python3.9，尝试之后，发现conda没有弄好。2/20 11:08 因为一直出现类似下面的问题。2.实际操作困难列目。
ERROR(SPMHNI-189): Problems with the name of device（cadence错误：Name is too long 名字太长）
weixin_43341767的博客
06-21 9278
使用下列方法中 （1）就可以解决问题了 原文地址：http://blog.sina.com.cn/s/blog_d2b9db420102v70q.html 在我Create Netlist时，或者说import网表时出现如下错误，尝试了很多方法终于搞定了，不清楚到底是哪个在起作用，那就总结一下吧！ #1ERROR(SPMHNI-176): Device library error detected. ERROR(SPMHNI-189): Problems with the name ...
python 关于Max retries exceeded with url 的错误
热门推荐
天下任我行
05-08 15万+
在爬取boss直聘时出现这种错误，于是搜索了网上很多文章，总结如下： 1.http连接太多没有关闭导致的，解决方法： import requests requests.adapters.DEFAULT_RETRIES = 5 # 增加重连次数 s = requests.session() s.keep_alive = False # 关闭多余连接 s.get(url) # 你需要的网址 2....
评论 21
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值