Python requests 多线程抓取 出现HTTPConnectionPool Max retires exceeded异常

最新推荐文章于 2022-01-28 10:13:02 发布
最新推荐文章于 2022-01-28 10:13:02 发布
阅读量1w 收藏 8
点赞数
分类专栏： Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21405949/article/details/79363084
版权

阿里云 服务器 特价秒杀活动，优惠券，有需要的自领：https://www.aliyun.com/acts/product-section-2019/new-users?userCode=fr7cmxm9

  • 场景：
    在做爬虫项目或者是在发送网络请求的时候，一般都会用到request模块，但是经常会遇到：
HTTPConnectionPool Max retires exceeded read time out的问题

查阅资料后发现，出现异常的原因是因为，requests在发送http请求之后，并没有关闭http连接导致，连接过多然后阻塞。
requests使用了urllib3库，默认的http connection 是keep-alive的，requests中可以设置False关闭。

实际在python2中的代码使用

s = requests.session()
s.keep_alive = False

Tips:
网上有的说是：

s = requests.session()
s.config['keep_alive'] = False

单我实际应用中报异常了。最后用第一个成功解决。

总结：
对于request库的诸多应用，应该多熟悉操作。加深印象。

推荐微信小程序阅读：

【十一】 10分钟精通微信小程序 | 云函数管理端
【十】 10分钟精通小程序 | 云函数异步返回结果
【九】10分钟精通微信小程序 | 云函数
【八】 10分钟精通微信小程序云存储 | 云存储
【七】10分钟精通微信小程序 | 增删改查
【六】10分钟精通微信小程序 | 增删改查
【五】10分钟精通微信小程序 | 云数据库增删改查
【四】10分钟精通微信小程序 | 云控制台
【三】10分钟精通微信小程序 | 光速入门
【二】10分钟精通微信小程序云开发 | 多图上传并存储路径到云数据库
【一】10分钟精通微信小程序 | 获取用户openid

不知火猪
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
python requests请求失败_Python requests多线程抓取请求都报异常无解
weixin_33199783的博客
02-09 1046
主要代码如下：import threadingimport requestsdef get_info():try:res = requests.get('http://www.xxx.com/test/json')if res.status_code == 200 and res.text != '':print res.textelse:print res.status_codetime.sle...
requests.exceptions.ConnectionError: HTTPConnectionPool(host=‘localhost‘, port=8097): Max retries ex
最新发布
m0_45924886的博客
05-07 521
或者关闭不使用 visdom也可以解决，即将 --display_id 设置为 0。
关于python3.6上传文件时报错：HTTPSConnectionPool(host='***.org', port=443): Max retries exceeded with url: /po...
weixin_30820151的博客
10-21 765
第一个报错： 最近在练习post请求中上传文件时遇到了一个奇葩事情，两台电脑上写了一模一样的代码，一个运行正常，另一个一片红。 最后了解了一下原因以及解决办法。先记录下关键代码： files = {"files":(r"F:\test.txt","xixihaha")}　　　　　　　　#直接将目标文件内容xixihaha通过文件test.txt进行上传 r = requests.pos...
python捕捉线程错误_Python requests 多线程抓取 出现HTTPConnectionPool Max retires exceeded异常...
weixin_42502378的博客
02-10 874
主要代码如下：import threadingimport requestsdef get_info():try:res = requests.get('http://www.xxx.com/test/json')if res.status_code == 200 and res.text != '':print res.textelse:print res.status_codetime.sle...
Python使用post请求时遇到.ConnectionError: HTTPConnectionPool Max retries exceeded with url: Failed to esta
大可的杨先森的博客
12-29 2889
在工程批量测试时，批量请求服务器是会出现 .ConnectionError: HTTPConnectionPool Max retries exceeded with url:  Failed to esta错误， 大致研习是资源未释放。 解决方案是： 修改请求头未 headers = {'Accept': 'application/json;','Connection':'close'}
python requests max retries_python requests报Max retries exceeded with url异常
weixin_39859055的博客
12-23 378
项目中有个模块是定时获取设备状态的，通过设备的http请求访问获取返回的状态码，然后根据状态码检测设备是否在线。但是最近发现连接后出现了偶尔连接不上的情况，报错如下：2018-06-14 15:51:42,076 - configuration_model - ERROR - HTTPSConnectionPool(host='10.1.1.1', port=443): Max retries e...
python实现多线程抓取知乎用户
12-24
需要用到的包： beautifulsoup4 ...image requests redis PyMySQL pip安装所有依赖包： pip install \ ...requests \ ...测试运行环境python3.5，不保证其他运行环境能完美运行 ...开始抓取数据: python get_us
python爬虫开发之使用Python爬虫库requests多线程抓取猫眼电影TOP100实例
09-17
本文将详细介绍如何使用requests库结合多线程技术来抓取猫眼电影TOP100的电影信息。首先，我们需要了解requests库的基本用法，以及如何处理网页源代码。 1. requests库的使用： requests库是Python中一个强大的HTTP...
Python 多线程抓取图片效率对比
12-24
是学习python 多线程的工作原理，及通过抓取400张图片这种IO密集型应用来查看多线程效率对比 import requests import urlparse import os import time import threading import Queue path = '/home/lidongwei/...
python 实现多线程下载视频的代码
01-21
r = requests.get(url, headers=None, stream=True, timeout=30) # print(r.status_code, r.headers) headers = {} all_thread = 1 # 获取视频大小 file_size = int(r.headers['content-length']) # 如果获取...
python requests请求失败重试,Python请求和OpenSSL-超过HTTPSConnectionPool Max重试
weixin_36478445的博客
03-01 414
I have a problem using python requests library in Ubuntu 14.04 when execute the following script:import requestsimport jsonpayload = {'code':'TG-000000000000000000000000', 'client_secret':'X0000000000...
python捕捉线程错误_Pythonrequests多线程抓取出现HTTPConnectionPoolMaxretiresexceeded异常...
weixin_39608509的博客
02-10 266
问题： Python requests 多线程抓取 出现HTTPConnectionPool Max retires exceeded异常描述:主要代码如下：import threadingimport requestsdef get_info():try:res = requests.get('http://www.xxx.com/test/json')if res.status_code ==...
python 多线程http失败切换功能
dicc9527的专栏
11-18 592
import threading import time gj=0 lock=threading.Lock() def g_num(j=0): global gj if j==1: if lock.acquire(): gj+=1 lock.release() class TestThread(threading.Th
python捕捉线程异常_Python requests多线程抓取请求都报异常无解，pythonrequests,主要代码如下：impor...
weixin_39973410的博客
12-04 246
Python requests多线程抓取请求都报异常无解，pythonrequests,主要代码如下：impor主要代码如下：import threadingimport requestsdef get_info(): try: res = requests.get('http://www.xxx.com/test/json') if res.status_cod...
python HTTPConnectionPool（host:XX）Max retries exceeded with url
m0_43448734的博客
01-28 5298
python 出现HTTPConnectionPool（host:XX）Max retries exceeded with url问题 在每次数据传输前客户端要和服务器建立TCP连接，为节省传输消耗，默认为keep-alive，即连接一次，传输多次，然而在多次访问后不能结束并回到连接池中，导致不能产生新的连接 headers中的Connection默认为keep-alive， 将header中的Connection一项置为close headers = { 'Connection': 'close'
Python 多进程调用requests API发送网络请求导致python程序崩溃
Ken的博客
05-13 951
Python 多进程调用requests API发送网络请求导致python程序崩溃 描述： 在涉及到multiprocess的python项目中，如果在forked出的process中，调用requests API(i.e. requests.get('...'), 该进程会崩溃。 原因： 根据对代码执行路径的分析，以及issue 和其他网友的记录, 可以判定该bug的出现原因为Mac的libdispatch并不是fork-safe，从而导致在fork出的进程里使用requests出错。 解决方案： 在
爬虫——Python爬虫遇到ip被封或Max retries exceeded问题
老简单题
11-12 4573
（1）IP被封 解决方法：User Agent+IP代理 具体方法： User Agent减少IP被封次数，原理是模仿人的点击访问。 具体做法：加上headers={'user-agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.133 Safari/569.36'} 这里使用的是模仿谷歌浏览器的，其他浏览器可以参见这篇文章Python3网络爬虫(四)：使用Us
python+requests+pytest报错：HTTPSConnectionPool(x):Max retries(Caused by SSLError)
adorable_的博客
08-13 356
在使用pytest运行接口自动化脚本时报错： post请求错误：HTTPSConnectionPool(host=‘family.quickcan.cn’, port=443 ): Max retries exceeded with url: /login?server_name=kk_family&sso_token=OPIsPes3wC7cHxoe34abfJm2 xIx6KE2WFe96V7hw&resource_url=https://family.quickcan.cn (Caus
python基于多线程实现抓取数据存入数据库的方法
10-01
Python提供了多线程模块`threading`，可以方便地实现多线程抓取数据并存入数据库的方法。 首先，我们需要导入必要的库和模块。常用的库包括`requests`用于发送HTTP请求，`BeautifulSoup`用于解析HTML内容，`threading`用于启动和管理多线程，以及数据库库比如`mysql-connector-python`用于与数据库交互等。 接下来，我们可以定义一个函数来实现数据的抓取和存入数据库的逻辑。这个函数会接受一些参数，比如抓取数据的URL，要存入数据库的表名等。 在函数内部，我们会使用`requests`库发送HTTP请求并获取响应内容。然后，使用`BeautifulSoup`解析响应内容，提取需要的数据。 将提取得到的数据存入数据库之前，需要先与数据库建立连接。连接数据库可以使用`mysql-connector-python`或者其他合适的数据库库。之后，可以使用SQL语句将数据插入到指定的表中。 在主函数中，我们可以创建多个线程来并发执行数据抓取和存储的任务。每个线程负责一个特定的URL或者一组URL的抓取。可以通过创建线程对象并调用其`start()`方法来启动线程。 最后，我们需要在主函数中等待所有线程的完成，可以通过调用`join()`方法实现。 通过上述方法，我们就可以实现基于多线程的数据抓取并存入数据库的功能。多线程的特点可以提高抓取和存储的效率，加快整个过程的执行速度。当然，我们还需要考虑多线程的并发性和同步问题，比如避免多个线程同时操作数据库的同一部分等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不知火猪

如果觉得有帮助，打赏鼓励，3Q

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值