Python requests 多线程抓取 出现HTTPConnectionPool Max retires exceeded异常

最新推荐文章于 2024-05-07 15:58:56 发布
最新推荐文章于 2024-05-07 15:58:56 发布
阅读量1w 收藏 8
点赞数
分类专栏： Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21405949/article/details/79363084
版权

阿里云 服务器 特价秒杀活动，优惠券，有需要的自领：https://www.aliyun.com/acts/product-section-2019/new-users?userCode=fr7cmxm9

  • 场景：
    在做爬虫项目或者是在发送网络请求的时候，一般都会用到request模块，但是经常会遇到：
HTTPConnectionPool Max retires exceeded read time out的问题

查阅资料后发现，出现异常的原因是因为，requests在发送http请求之后，并没有关闭http连接导致，连接过多然后阻塞。
requests使用了urllib3库，默认的http connection 是keep-alive的，requests中可以设置False关闭。

实际在python2中的代码使用

s = requests.session()
s.keep_alive = False

Tips:
网上有的说是：

s = requests.session()
s.config['keep_alive'] = False

单我实际应用中报异常了。最后用第一个成功解决。

总结：
对于request库的诸多应用，应该多熟悉操作。加深印象。

推荐微信小程序阅读：

【十一】 10分钟精通微信小程序 | 云函数管理端
【十】 10分钟精通小程序 | 云函数异步返回结果
【九】10分钟精通微信小程序 | 云函数
【八】 10分钟精通微信小程序云存储 | 云存储
【七】10分钟精通微信小程序 | 增删改查
【六】10分钟精通微信小程序 | 增删改查
【五】10分钟精通微信小程序 | 云数据库增删改查
【四】10分钟精通微信小程序 | 云控制台
【三】10分钟精通微信小程序 | 光速入门
【二】10分钟精通微信小程序云开发 | 多图上传并存储路径到云数据库
【一】10分钟精通微信小程序 | 获取用户openid

不知火猪
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
python requests请求失败重试_python requests的超时和重试
weixin_39629352的博客
11-27 1117
问题描述在使用域名请求接口时，有两个地方会出现超时，连接超时和读取超时关于接口服务器响应超时可以在本地搭建测试环境。搭建测试接口服务器from bottle import Bottle, runimport timeapp = Bottle()# URL地址为 /sleep/需要睡眠的时长@app.route("/sleep/")def spleepDef(sleep):time.sleep(sl...
python requests请求失败_Python requests多线程抓取请求都报异常无解
weixin_33199783的博客
02-09 1046
主要代码如下：import threadingimport requestsdef get_info():try:res = requests.get('http://www.xxx.com/test/json')if res.status_code == 200 and res.text != '':print res.textelse:print res.status_codetime.sle...
爬虫——Python爬虫遇到ip被封或Max retries exceeded问题
老简单题
11-12 4572
（1）IP被封 解决方法：User Agent+IP代理 具体方法： User Agent减少IP被封次数，原理是模仿人的点击访问。 具体做法：加上headers={'user-agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.133 Safari/569.36'} 这里使用的是模仿谷歌浏览器的，其他浏览器可以参见这篇文章Python3网络爬虫(四)：使用Us
requests.exceptions.ConnectionError: HTTPConnectionPool(host=‘localhost‘, port=8097): Max retries ex
最新发布
m0_45924886的博客
05-07 513
或者关闭不使用 visdom也可以解决，即将 --display_id 设置为 0。
python捕捉线程错误_Python requests 多线程抓取 出现HTTPConnectionPool Max retires exceeded异常...
weixin_42502378的博客
02-10 874
主要代码如下：import threadingimport requestsdef get_info():try:res = requests.get('http://www.xxx.com/test/json')if res.status_code == 200 and res.text != '':print res.textelse:print res.status_codetime.sle...
python HTTPConnectionPool（host:XX）Max retries exceeded with url
m0_43448734的博客
01-28 5296
python 出现HTTPConnectionPool（host:XX）Max retries exceeded with url问题 在每次数据传输前客户端要和服务器建立TCP连接，为节省传输消耗，默认为keep-alive，即连接一次，传输多次，然而在多次访问后不能结束并回到连接池中，导致不能产生新的连接 headers中的Connection默认为keep-alive， 将header中的Connection一项置为close headers = { 'Connection': 'close'
python捕捉线程错误_Pythonrequests多线程抓取出现HTTPConnectionPoolMaxretiresexceeded异常...
weixin_39608509的博客
02-10 266
问题： Python requests 多线程抓取 出现HTTPConnectionPool Max retires exceeded异常描述:主要代码如下：import threadingimport requestsdef get_info():try:res = requests.get('http://www.xxx.com/test/json')if res.status_code ==...
Python requests报错解决办法：Max retries exceeded with url/Name or service not known
xuerba的博客
11-20 1万+
报错一：Max retries exceeded with url 原因：访问URL超过最大连接数，关闭长连接可解决，代码如下 import requests # 原代码 response = requests.post(url, data=data) # 修复后代码 # 方案一：设置headers关闭持久链接 headers = { 'Connection': 'close' }...
python爬虫 requests异常requests.exceptions.ConnectionError: HTTPSConnectionPool Max retries exceeded
热门推荐
陈新明博客
10-25 14万+
python爬虫 requests异常requests.exceptions.ConnectionError: HTTPSConnectionPool Max retries exceeded   错误提示： requests.exceptions.ConnectionError: HTTPSConnectionPool(host='baike.baidu.com', port=443):...
HTTPConnectionPool（host:XX）Max retries exceeded with url 解决方法
runwuwushengxiyu的博客
08-12 2366
HTTPConnectionPool（host:XX）Max retries exceeded with url 解决方法
python+requests+pytest报错：HTTPSConnectionPool(x):Max retries(Caused by SSLError)
adorable_的博客
08-13 354
在使用pytest运行接口自动化脚本时报错： post请求错误：HTTPSConnectionPool(host=‘family.quickcan.cn’, port=443 ): Max retries exceeded with url: /login?server_name=kk_family&sso_token=OPIsPes3wC7cHxoe34abfJm2 xIx6KE2WFe96V7hw&resource_url=https://family.quickcan.cn (Caus
python 爬虫 网络超时与异常
戴上微笑的博客
11-30 1604
在访问一个网页时，如果该网页长时间未响应，系统就会判断该网页超时，无法打开网页。模拟代码如下： import requests for a in range(0,100): try: response = requests.get('http://www.baidu.com/', timeout=0.02) print(response.status_code) except Exception as e: print('异常'+str(e))
python request大批量发送请求调用接口时，报错：[WinError 10048] 通常每个套接字地址(协议/网络地址/端口)只允许使用一次。
weixin_42407261的博客
05-27 8260
接到一个项目需求，其中需要调用到供应商的Http API，因为有大量的测试资源，所以代码中会循环调用API。 然而在测试代码执行过程中，过程中偶尔报错： 此时看到报错，怀疑是可能是同时并发的问题， 但实际上并未对该接口进行限制，所以应该不是这个的问题，进一步查看其他的报错的信息 urllib3.exceptions.NewConnectionError: <urllib3.connection.HTTPSConnection object at 0x0C9C64F0>: Fa...
Python 多进程调用requests API发送网络请求导致python程序崩溃
Ken的博客
05-13 951
Python 多进程调用requests API发送网络请求导致python程序崩溃 描述： 在涉及到multiprocess的python项目中，如果在forked出的process中，调用requests API(i.e. requests.get('...'), 该进程会崩溃。 原因： 根据对代码执行路径的分析，以及issue 和其他网友的记录, 可以判定该bug的出现原因为Mac的libdispatch并不是fork-safe，从而导致在fork出的进程里使用requests出错。 解决方案： 在
python使用requests模块请求http接口
GY_1202的博客
06-14 7329
Python requests 模块使用详解，get、post、put、delete 等常用方法介绍，如何用postman生成python请求代码，http常用状态码汇总。
python request 请求时报措HTTPSConnectionPool(host=‘1.0.0.0‘, port=443)解决方式，以及拦截方式
大家一起学编程(python)
04-16 1万+
HTTPSConnectionPool(host='1.0.0.0', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLError("bad handshake: Error([('SSL routines', 'ssl3_read_bytes', 'sslv3 alert handshake failure')])"))) 一、产生原因和解决方式 1、开启了fiddle会导致某些网站不能访问，关闭fiddle。..
Python requests ip代理爬虫报错 HTTPSConnectionPool(host=‘xxxxx‘, port=443) Max retries exceed
m0_67402236的博客
08-02 4178
但是这个报错。首先需要确认自己的的IP地址是否可行。这里参考给出的方式，确认不是IP不可行的问题。后来在知乎上看到有人在传入proxy给proxies的时候，将字典中的"https"和"http"全部大写了，尝试之后确实可行了将字典中的"https"和"http"全部大写了，尝试之后确实可行了将字典中的"https"和"http"全部大写了，尝试之后确实可行了.记录一下今晚踩的几个雷是我用的免费ip代理池，勉强能用。...
已解决requests.exceptions.ConnectTimeout: HTTPConnectionPool(host=‘123.96.1.95‘, port=30090): Max retri
努力让自己发光，对的人才能迎着光而来
09-02 1万+
已解决requests.exceptions.ConnectTimeout: HTTPConnectionPool(host=‘123.96.1.95’, port=30090): Max retries exceeded with url: http://cdict.qq.pinyin.cn/list?cate_id=461&sort1_id=436&sort2_id=461&page=4 (Caused by ConnectTimeoutError(
python基于多线程实现抓取数据存入数据库的方法
10-01
Python提供了多线程模块`threading`，可以方便地实现多线程抓取数据并存入数据库的方法。 首先，我们需要导入必要的库和模块。常用的库包括`requests`用于发送HTTP请求，`BeautifulSoup`用于解析HTML内容，`threading`用于启动和管理多线程，以及数据库库比如`mysql-connector-python`用于与数据库交互等。 接下来，我们可以定义一个函数来实现数据的抓取和存入数据库的逻辑。这个函数会接受一些参数，比如抓取数据的URL，要存入数据库的表名等。 在函数内部，我们会使用`requests`库发送HTTP请求并获取响应内容。然后，使用`BeautifulSoup`解析响应内容，提取需要的数据。 将提取得到的数据存入数据库之前，需要先与数据库建立连接。连接数据库可以使用`mysql-connector-python`或者其他合适的数据库库。之后，可以使用SQL语句将数据插入到指定的表中。 在主函数中，我们可以创建多个线程来并发执行数据抓取和存储的任务。每个线程负责一个特定的URL或者一组URL的抓取。可以通过创建线程对象并调用其`start()`方法来启动线程。 最后，我们需要在主函数中等待所有线程的完成，可以通过调用`join()`方法实现。 通过上述方法，我们就可以实现基于多线程的数据抓取并存入数据库的功能。多线程的特点可以提高抓取和存储的效率，加快整个过程的执行速度。当然，我们还需要考虑多线程的并发性和同步问题，比如避免多个线程同时操作数据库的同一部分等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不知火猪

如果觉得有帮助，打赏鼓励，3Q

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值