一、 使用timeout()
首先是:为防止服务器不能及时响应,大部分发至外部服务器的请求都应该带着 timeout 参数。在默认情况下,除非显示指定了 timeout 值,requests 是不会自动进行超时处理的。如果没有 timeout,你的代码可能会挂起若干分钟甚至更长时间
其次是:连接超时指的是在你的客户端实现到远端机器端口的连接时(对应的是 connect() ),Request 会等待的秒数。一个很好的实践方法是把连接超时设为比 3 的倍数略大的一个数值,因为 TCP 数据包重传窗口 (TCP packet retransmission window) 的默认大小是 3。
在爬虫代理这一块我们经常会遇到请求超时的问题,代码就卡在哪里,不报错也没有requests请求的响应。
通常的处理是在requests.get()语句中加入timeout限制请求时间:
req = requests.get(url, headers=headers, proxies=proxies, timeout=5)
如果发现设置timeout=5后长时间不响应问题依然存在,可以将timeout里的参数细化
作出如下修改后,问题就消失了:
req = requests.get(url, headers=headers, proxies=proxies, timeout=(3,7))
以上方法在爬取视频的时候也适用,例子如下:
video = requests.get(video_url, headers=headers, timeout=20, verify=False).content
[](https://blog.csdn.net/Aacheng123/article/details/119820852?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522168491823516800213052020%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=168491823516800213052020&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2allfirst_rank_ecpm_v1~rank_v31_ecpm-7-119820852-null-null.142^v
一、 使用timeout()
首先是:为防止服务器不能及时响应,大部分发至外部服务器的请求都应该带着 timeout 参数。在默认情况下,除非显示指定了 timeout 值,requests 是不会自动进行超时处理的。如果没有 timeout,你的代码可能会挂起若干分钟甚至更长时间
其次是:连接超时指的是在你的客户端实现到远端机器端口的连接时(对应的是 connect() ),Request 会等待的秒数。一个很好的实践方法是把连接超时设为比 3 的倍数略大的一个数值,因为 TCP 数据包重传窗口 (TCP packet retransmission window) 的默认大小是 3。
在爬虫代理这一块我们经常会遇到请求超时的问题,代码就卡在哪里,不报错也没有requests请求的响应。
通常的处理是在requests.get()语句中加入timeout限制请求时间:
req = requests.get(url, headers=headers, proxies=proxies, timeout=5)
如果发现设置timeout=5后长时间不响应问题依然存在,可以将timeout里的参数细化
作出如下修改后,问题就消失了:
req = requests.get(url, headers=headers, proxies=proxies, timeout=(3,7))
以上方法在爬取视频的时候也适用,例子如下:
video = requests.get(video_url, headers=headers, timeout=20, verify=False).content
二、通过func_timeout模块的@func_set_timeout()来实现
首先安装 pip install func_timeout
#_________________________________通过func_timeout装饰器来解决函数执行超时______________________________________________
from func_timeout import func_set_timeout
import func_timeout
@func_set_timeout(3)#设定函数超执行时间_
def task():
print('hello world')
time.sleep(5)
return '执行成功_未超时'
if __name__ == '__main__':
try:
print(task())
#若调用函数超时自动走异常(可在异常中写超时逻辑处理)
except func_timeout.exceptions.FunctionTimedOut:
print('执行函数超时')
三、通过eventlet模块来实现
依旧是安装 pip install eventlet
eventlet.monkey_patch() # 必须加这条代码
with eventlet.Timeout(20, False):
time.sleep(21)
print('语句正常执行')
video = requests.get(video_url, headers=headers,verify=False).content
with open('空格/' + str(s_code) + '.mp4', 'wb') as f:
f.write(video)
print('超时-------------------------------')
87control_2,239v2^insert_chatgpt&utm_term=python%E7%88%AC%E8%99%AB&spm=1018.2226.3001.4187)二、通过func_timeout模块的@func_set_timeout()来实现
首先安装 pip install func_timeout
#_________________________________通过func_timeout装饰器来解决函数执行超时______________________________________________
from func_timeout import func_set_timeout
import func_timeout
@func_set_timeout(3)#设定函数超执行时间_
def task():
print('hello world')
time.sleep(5)
return '执行成功_未超时'
if __name__ == '__main__':
try:
print(task())
#若调用函数超时自动走异常(可在异常中写超时逻辑处理)
except func_timeout.exceptions.FunctionTimedOut:
print('执行函数超时')
三、通过eventlet模块来实现
依旧是安装 pip install eventlet
eventlet.monkey_patch() # 必须加这条代码
with eventlet.Timeout(20, False):
time.sleep(21)
print('语句正常执行')
video = requests.get(video_url, headers=headers,verify=False).content
with open('空格/' + str(s_code) + '.mp4', 'wb') as f:
f.write(video)
print('超时-------------------------------')
一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
二、学习软件
工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。
三、全套PDF电子书
书籍的好处就在于权威和体系健全,刚开始学习的时候你可以只看视频或者听某个人讲课,但等你学完之后,你觉得你掌握了,这时候建议还是得去看一下书籍,看权威技术书籍也是每个程序员必经之路。
四、入门学习视频
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。
四、实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
五、清华编程大佬出品《漫画看学Python》
用通俗易懂的漫画,来教你学习Python,让你更容易记住,并且不会枯燥乏味。
配套600集视频:
六、面试资料
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
如果你也想和我一起学习Python,欢迎关注我
点击下方链接即可免费获取Python全套资料,学习视频,热门书籍PDF版本
👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇
↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓
[~~~~~~~~~[点击此处蓝色字体即可免费领取全套资料]