python爬虫超时怎么办？你只要看这三种方法

「已注销」

已于 2023-05-24 17:11:20 修改

阅读量2.8k

点赞数 2

文章标签： python 爬虫开发语言

于 2023-05-24 16:44:03 首次发布

本文链接：https://blog.csdn.net/2301_78094636/article/details/130850380

版权

一、使用timeout()

首先是：为防止服务器不能及时响应，大部分发至外部服务器的请求都应该带着 timeout 参数。在默认情况下，除非显示指定了 timeout 值，requests 是不会自动进行超时处理的。如果没有 timeout，你的代码可能会挂起若干分钟甚至更长时间

其次是：连接超时指的是在你的客户端实现到远端机器端口的连接时（对应的是 connect() ），Request 会等待的秒数。一个很好的实践方法是把连接超时设为比 3 的倍数略大的一个数值，因为 TCP 数据包重传窗口 (TCP packet retransmission window) 的默认大小是 3。

在爬虫代理这一块我们经常会遇到请求超时的问题，代码就卡在哪里，不报错也没有requests请求的响应。

通常的处理是在requests.get()语句中加入timeout限制请求时间：

req = requests.get(url, headers=headers, proxies=proxies, timeout=5)

如果发现设置timeout=5后长时间不响应问题依然存在，可以将timeout里的参数细化
作出如下修改后，问题就消失了：

req = requests.get(url, headers=headers, proxies=proxies, timeout=(3,7))

以上方法在爬取视频的时候也适用，例子如下：

video = requests.get(video_url, headers=headers, timeout=20, verify=False).content

[](https://blog.csdn.net/Aacheng123/article/details/119820852?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522168491823516800213052020%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=168491823516800213052020&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~rank_v31_ecpm-7-119820852-null-null.142^v

一、使用timeout()

在爬虫代理这一块我们经常会遇到请求超时的问题，代码就卡在哪里，不报错也没有requests请求的响应。

通常的处理是在requests.get()语句中加入timeout限制请求时间：

req = requests.get(url, headers=headers, proxies=proxies, timeout=5)

如果发现设置timeout=5后长时间不响应问题依然存在，可以将timeout里的参数细化
作出如下修改后，问题就消失了：

req = requests.get(url, headers=headers, proxies=proxies, timeout=(3,7))

以上方法在爬取视频的时候也适用，例子如下：

video = requests.get(video_url, headers=headers, timeout=20, verify=False).content

二、通过func_timeout模块的@func_set_timeout()来实现

首先安装 pip install func_timeout

#_________________________________通过func_timeout装饰器来解决函数执行超时______________________________________________
from func_timeout import func_set_timeout
import func_timeout
@func_set_timeout(3)#设定函数超执行时间_
def task():
    print('hello world')
    time.sleep(5)
    return '执行成功_未超时'

if __name__ == '__main__':
    try:
        print(task())
    #若调用函数超时自动走异常(可在异常中写超时逻辑处理)
    except func_timeout.exceptions.FunctionTimedOut:
        print('执行函数超时')

三、通过eventlet模块来实现

依旧是安装 pip install eventlet

eventlet.monkey_patch()  # 必须加这条代码
with eventlet.Timeout(20, False):
	time.sleep(21)
    print('语句正常执行')
    video = requests.get(video_url, headers=headers,verify=False).content
    with open('空格/' + str(s_code) + '.mp4', 'wb') as f:
        f.write(video)
 print('超时-------------------------------')

87^{control_2,239}v2^insert_chatgpt&utm_term=python%E7%88%AC%E8%99%AB&spm=1018.2226.3001.4187)二、通过func_timeout模块的@func_set_timeout()来实现

首先安装 pip install func_timeout

#_________________________________通过func_timeout装饰器来解决函数执行超时______________________________________________
from func_timeout import func_set_timeout
import func_timeout
@func_set_timeout(3)#设定函数超执行时间_
def task():
    print('hello world')
    time.sleep(5)
    return '执行成功_未超时'

if __name__ == '__main__':
    try:
        print(task())
    #若调用函数超时自动走异常(可在异常中写超时逻辑处理)
    except func_timeout.exceptions.FunctionTimedOut:
        print('执行函数超时')

三、通过eventlet模块来实现

依旧是安装 pip install eventlet

eventlet.monkey_patch()  # 必须加这条代码
with eventlet.Timeout(20, False):
	time.sleep(21)
    print('语句正常执行')
    video = requests.get(video_url, headers=headers,verify=False).content
    with open('空格/' + str(s_code) + '.mp4', 'wb') as f:
        f.write(video)
 print('超时-------------------------------')

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

在这里插入图片描述

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、清华编程大佬出品《漫画看学Python》

用通俗易懂的漫画，来教你学习Python，让你更容易记住，并且不会枯燥乏味。

在这里插入图片描述
配套600集视频：

在这里插入图片描述

六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

如果你也想和我一起学习Python，欢迎关注我

点击下方链接即可免费获取Python全套资料，学习视频，热门书籍PDF版本

👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇
↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓
[~~~~~~~~~[点击此处蓝色字体即可免费领取全套资料]

「已注销」

关注

2
点赞
踩
9

收藏

觉得还不错? 一键收藏
1
评论
python爬虫超时怎么办？你只要看这三种方法

其次是：连接超时指的是在你的客户端实现到远端机器端口的连接时（对应的是 connect() ），Request 会等待的秒数。其次是：连接超时指的是在你的客户端实现到远端机器端口的连接时（对应的是 connect() ），Request 会等待的秒数。Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。用通俗易懂的漫画，来教你学习Python，让你更容易记住，并且不会枯燥乏味。
复制链接

扫一扫