爬虫-ConnectTimeout，ReadTimeout解决

已于 2024-01-20 14:19:24 修改
阅读量1.9k 收藏 12
点赞数 6
分类专栏： python 文章标签： 爬虫 python
于 2024-01-14 12:38:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_57620101/article/details/135580069
版权 
ConnectTimeout: HTTPSConnectionPool... Max retries exceeded with url

*1.连接超时

服务器在指定时间内没有应答，抛出 requests.exceptions.ConnectTimeout

# 抛出错误
requests.exceptions.ConnectTimeout: HTTPConnectionPool(host='github.com', port=80): Max retries exceeded with url: / (Caused by ConnectTimeoutError(<urllib3.connection.HTTPConnection object at 0x7f1b16da75f8>, 'Connection to github.com timed out. (connect timeout=0.001)'))

*2.连接、读取超时

若分别指定连接和读取的超时时间，服务器在指定时间没有应答，抛出 requests.exceptions.ConnectTimeout
- timeout=([连接超时时间], [读取超时时间])
- 连接：客户端连接服务器并并发送http请求服务器
- 读取：客户端等待服务器发送第一个字节之前的时间

# 抛出错误
requests.exceptions.ReadTimeout: HTTPConnectionPool(host='github.com', port=80): Read timed out. (read timeout=0.01)

*3.由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败

ConnectionError: HTTPSConnectionPool(host='jbk.39.net', port=443): Max retries exceeded with url: /hhbxgjy/jbzs (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x000001D6D8CE7BA8>: Failed to establish a new connection: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。'))

报错原因：

出现连接超时要么是因为爬虫访问过快导致对方服务器连接超时，要么是因为被发现是爬虫程序了。

爬虫出现以上类似情况，解决方法可有：

1.设置下载超时时间
resd=requests.get(url=detail_url,headers=headers, timeout=100)

也可设置类似timeout=(5,10)#connect 和 read 二者的 timeout,所以是一个数组

2.超时重试

在get请求代码上添加

from requests.adapters import HTTPAdapter
from urllib3 import Retry

s = requests.Session()
s.mount('http://', HTTPAdapter(max_retries=Retry(read=3,connect=3)))  # 访问http协议时，设置重传请求最多三次
s.mount('https://', HTTPAdapter(max_retries=Retry(read=3,connect=3)))  # 访问https协议时，设置重传请求最多三次
s.keep_alive=False #关闭多余链接

max_retries 为最大重试次数，重试3次，加上最初的一次请求，一共是4次

注意，当要打开网址过多时，要加上：


resd4=requests.get(url=p_url,headers=headers, timeout=100)
resd4.encoding=resd4.apparent_encoding
page_text4=resd4.text

resd4.close() # 关闭，很重要,确保不要过多的链接
3.构建headers列表每次随机选一个
import random

headers_list = [
    {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 Edg/120.0.0.0'
    }, {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36 Edg/93.0.961.38'
    }, {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36 Edg/93.0.961.47'
    }, {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36 Edg/93.0.961.52'
    }, {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36 Edg/94.0.992.31'
    }, {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36 Edg/94.0.992.37'
    }, {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Edg/94.0.992.38'
    }, {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36 Edg/94.0.992.50'
    }, {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30'
    }, {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.40'
    }, {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.44'
    }, {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.53'
    }, {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36 Edg/96.0.1054.29'
    }, {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.55 Safari/537.36 Edg/96.0.1054.34'
    },{         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.81',
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.31',
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.36',
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.40',
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.41',
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.43',
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.47',
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.55', 
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.60',
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.46',
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.57',
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.61',
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.69',
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.76',
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.2151.44', 
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.2151.58',
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.2151.72',
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.2151.93',
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.2151.97',
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 Edg/120.0.2210.61', 
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 Edg/120.0.2210.77',
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 Edg/120.0.2210.89',
    }, {         
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 Edg/120.0.2210.91',
    }
]

headers = random.choice(headers_list)
4.放慢请求速度
from time import sleep
sleep（10）
5.爬虫代码设置代理ip
proxies = {
        'http': '127.0.0.1:1212',
        'https': '127.0.0.1:1212'
    }
r = requests.get(url, headers=headers, proxies=proxies, timeout=20)
参考：

Requests的读取超时重传问题。 - 知乎 (zhihu.com)

Python爬虫病例信息_病人信息爬虫-CSDN博客

详解Python requests 超时和重试的方法-转载 - 天乐_技术博客 - 博客园 (cnblogs.com)

湫湫玺云台
关注
专栏目录
mx-idletimeout-native
04-10
一些应用程序需要在用户闲置时执行操作，例如将用户从应用程序中注销（主要是银行应用程序中的用户以及具有敏感数据的应用程序），IdleTimeout是mendix本机移动小部件，可跟踪用户活动以确定用户是否闲置或不会，在...
【Python】已解决：requests.exceptions.ConnectTimeout: HTTPConnectionPool(host=‘123.96.1.95’, port=30090)
屿小夏.的知识博客
07-05 489
这个错误通常发生在尝试连接到某个服务器时，但是在设定的超时时间内没有建立连接。在这个具体的例子中，代码试图连接到IP地址为123.96.1.95，端口号为30090的服务器，但在20秒内未能成功建立连接。在这个修正后的代码中，我们使用了requests.Session和Retry来自动处理请求的重试，并且增加了超时时间到30秒。在使用Python的requests库进行网络请求时，有时会遇到连接超时的问题。在这段代码中，如果服务器在20秒内没有响应，就会触发ConnectTimeout异常。
http请求报Read timed out
还在活水泥的未来包工头
04-18 1万+
当使用HTTP客户端发送HTTP请求时，可能会出现"Read timed out"的异常。这个异常通常表示服务器在规定的时间内没有响应请求，或者响应的数据太慢而导致请求超时。具体来说，当客户端从服务器读取数据时，如果在规定的时间内没有读取到数据，就会抛出"Read timed out"的异常。增加HTTP请求的超时时间，以便客户端有更多的时间等待服务器响应。服务器返回的数据量过大，导致客户端读取数据的时间超过了规定的时间。网络延迟或网络不稳定，导致客户端无法在规定的时间内读取完数据。
Python实践：实现HTTP请求超时设置
最新发布
孔乙己大叔的博客
09-04 856
requests是Python中一个非常流行的HTTP库，它提供了简单易用的API来发送HTTP请求。requests库支持多种HTTP方法（如GET、POST、PUT、DELETE等），并且自动处理URL编码、会话cookies、HTTP重定向等。此外，requests还提供了丰富的异常处理机制，使得开发者可以轻松地处理各种网络错误和异常情况。在Python中使用requests库实现HTTP请求的超时设置是一项简单而有效的任务。通过合理设置超时时间并进行适当的异常处理，你可以使你的程序更加健壮和可靠。
ReadTimeoutError: HTTPSConnectionPool(host=‘files.pythonhosted.org‘, port=443): Read timed out.
既然选择了远方 便只顾风雨兼程 - 永强
09-05 6199
ReadTimeoutError: HTTPSConnectionPool(host=‘files.pythonhosted.org‘, port=443): Read timed out.
解决.ReadTimeoutError: HTTPSConnectionPool(host=‘pypi.tuna.tsinghua.edu.cn‘, port=443): Read timed o
牛肉胡辣汤
10-23 2026
为了解决这个问题，国内一些机构和组织提供了自己的镜像源，开发者可以将pip源配置为这些镜像源，以加快下载速度和提高安装成功率。此外，有些镜像源可能不同步更新或存在其他问题，所以在选择一个可靠的镜像源时需要经过一定的评估和测试。总结来说，pip源是用于下载、安装和管理Python包的软件源，可以通过修改pip源来指定从哪个镜像源获取Python包，以加快下载速度和提高安装成功率。通过增加pip的超时时间，我们可以给pip更多的时间来建立与源的连接。在上面的示例代码中，我们首先定义了一个​。
解决：ReadTimeoutError: HTTPSConnectionPool(host=‘files.pythonhosted.org’, port=443): Read timed out
nings666的博客
12-04 6385
背景 在搭建之前的代码运行环境时，报错： raise ReadTimeoutError(self._pool, None, 'Read timed out.') ReadTimeoutError: HTTPSConnectionPool(host='files.pythonhosted.org', port=443): Read timed out. 翻译： ``` 引发 ReadTimeoutError（self._pool， None， '读取超时。 ReadTimeoutError...
ReadTimeoutError: HTTPSConnectionPool(host=‘files.pythonhosted.org‘, port=443): Read timed out 解决方法
老码农的博客
01-19 1143
使用Pycharm install插件时，会出现因为访问三方仓库超时的情况，错误如下： ReadTimeoutError: HTTPSConnectionPool(host=‘files.pythonhosted.org’, port=443): Read timed out.访问三方库超时1、增加访问超时时间，在Pycharm Setting中设置 Connection timeout，将该值增大，如下图所示：2、配置访问速度快的国内的镜像仓库 这是三个镜像地址
Laravel开发-laravel-sessiontimeout
08-28
在`laravel-sessiontimeout-master`这个项目中，你可能找到这个中间件的具体实现和其他相关配置，可以参考并根据自己的项目需求进行调整。 总的来说，Laravel提供了强大的会话管理和中间件机制，允许开发者灵活地...
async-http-client-notimeout-demo:async-http-client-notimeout-demo
05-18
运行com.example.demo.DemoClient.main（） 该示例在以下每个客户端上运行2个http帖子（一个没有超时，另一个带有超时）： （同步）具有默认配置（HttpClients.createDefault（））的客户端。 如果请求中未定义超时...
socket timeout详解(connect 、read 、write timeout)
10-25
timeout 又可以细分为 connect timeout、read timeout、write timeout 怎样修改linux操作系统的tcp connect timeout
ksoap2-android-assembly-2.5.4-jar-with-dependencies - withTimeOut.jar
08-01
ksoap2-android-assembly-2.5.4-jar-with-dependencies - withTimeOut.jar 自己下载的2.5.4版本有webservice的timeout设置，可是没有效果， 经反编译发现只是设置了timeout的空方法。 故根据网上的方法将方法完善。 ...
Python爬虫 requests教学（五）：常见异常处理
Python案例分享，B站视频教程：https://space.bilibili.com/523606542
03-26 2882
网页出现乱码 出现乱码的原因是因为网页解码过程中没有设置如何编码 response.encoding = response.apparent_encoding 请求头参数 InvalidHeader: Invalid return character or leading space in header: User-Agent import requests headers = { 'User-Agent': ' Mozilla/5.0 (windows NT 10.0; wow6
python（request）常见错误记录
qq_40296570的博客
09-18 2417
连接超时requests.exceptions.ConnectTimeout 抛出错误 requests.exceptions.ConnectTimeout: HTTPConnectionPool(host=‘github.com’, port=80): Max retries exceeded with url: / (Caused by ConnectTimeoutError(<urllib3.connection.HTTPConnection object at 0x7f1b16da75f8.
有关http协议中的connect timeout和read timeout
zy103118的博客
04-12 1万+
connect timeout 是建立连接的超时时间； read timeout，是传递数据的超时时间。 正确的方法应当是调用HttpURLConnection的时候同时设置这两个超时时间。 一看代码，果然漏了setReadTimeout。。。。。OMG 。。。 3、解决方案 同时设置这两个超时时间： URLConnection connection = url.openConnection(); connection.setConnectTimeout(50...
关于利用osmnx包在openstreet网站爬取数据时，运行报错连接错误的问题
m0_69075495的博客
02-11 968
看到了一个大佬这样的回复，通过简单翻译理解，应该是使用相关库的时候，urllib的版本过高需要进行降级安装，在任务管理器(按win+R进入)，中输入pip install urllib3==1.25.11，安装完毕后重新运行代码，成功通过并出现对应结果！
requests.exceptions.ConnectionError:HTTPSConnectionPool(host
热门推荐
风华浪浪的博客
07-01 11万+
requests.exceptions.ConnectionError: HTTPSConnectionPool(host='127.0.0.1', port=443): Max retries exceeded with url: /?cdn=nohost (Caused by NewConnectionError('<urllib3.connection.VerifiedHTTP...
gevent和requests同时使用报requests.exceptions.ReadTimeout:HTTPSConnectionPool(host='www.baidu.com', port=4
u013102743的博客
02-20 1万+
最近项目需要用协程来处理网站并发访问，使用了Gevent这个库，访问网站用requests，然而访问https的url时报错：>>> from gevent import monkey; monkey.patch_socket() >>> import gevent >>> url='https://www.baidu.com' >>> requests.get(url)requests.excep
python3 pip3 install 报错 ReadTimeoutError: HTTPSConnectionPool(host=‘xxx‘, port=443): Read timed 解决方法
whatday的专栏
12-10 2123
目录 错误现象 方法一：手动指定源 方法二：更改默认源 方法三：手动设置延时 错误现象 Collecting pip Downloading pip-9.0.1-py2.py3-none-any.whl (1.3MB) 0% | | 4.1kB 17.7MB/s eta 0:00:01Exception: Traceback (most recent call last): File "/Library/Python
readtimeout和connecttimeout
04-11
b'readtimeout'和'bconnecttimeout'是两个Python Socket模块中的超时参数，用于设置在连接或读取数据时的超时时间。其中'readtimeout'是指在数据读取过程中，如果超过设定时间未读到数据，则会抛出timeout异常；而'connecttimeout'是指在连接远程主机时，如果连接超过设定时间未建立，则会抛出timeout异常。这两个超时参数的设置可以防止程序因等待远程主机响应而无法进行下一步处理，从而提高程序执行效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值