简单处理版本,就是加上异常捕获,在发生异常时记录日志,时候可以通过日志来定位异常。
def do_something():
pass
def log_error(xxx):
pass
try:
do_something()
except:
log_error(xxxx)
改进处理版本
对于简单处理版本做了改进,增加重试次数。这个在爬虫程序中比较常见,第一次请求超时,可能过一会再请求就成功了,所以重试几次可能会消除异常。
attempts = 0
success = False
while attempts < 3 and not success:
try:
do_something()
success = True
except:
attempts += 1
if attempts == 3:
break
但是这样做仍然不够优雅,你可能要在很多地方去写这种重试的硬编码,程序看起来乱糟糟的。
今天就给大家介绍一个第三方模块 —— retrying。它是对程序中异常重试的一种优雅的解决方案。
安装与使用
安装
安装命令还是那么平淡无奇:
pip install retrying
使用
下面给大家介绍一下这个装饰函数有哪些可以使用的参数。
生命不息,奋斗不止
retrying 提供一个装饰器函数 retry,被装饰的函数会在运行失败的情况下重新执行,默认一直报错就一直重试。
import random
from retrying import retry
@retry
def do_something_unreliable():
if random.randint(0, 10) > 1:
print(“just have a test”)
raise IOError(“raise exception!”)
else:
return “good job!”
print(do_something_unreliable())
运行这个程序,大家可以看到每次打印“just have a test”这句话的次数都不一样。这是由于我们程序中只要随机整数大于1就会打印并且抛出异常。但是由于我们有装饰器函数 retry,所以在发生异常就会重新再次执行方法,直到随机整数大于1,就会打印“good job!”。
做人不能太固执
这种无休止地重试,简直是浪费生命,浪费资源。我们要建设绿色家园,所以不妨加点限制:
# 最大重试次数
@retry(stop_max_attempt_number=5)
def do_something_limited():
print(“do something several times”)
raise Exception(“raise exception”)
do_something_limited()
珍惜有限的时间
一寸光阴一寸金,寸金难买寸光阴。我们要珍惜有限的时间,所以不妨给我们的重试加个时间限制:
# 限制最长重试时间(从执行方法开始计算)
@retry(stop_max_delay=5000)
def do_something_in_time():
print(“do something in time”)
raise Exception(“raise exception”)
do_something_in_time()
驻足欣赏路上风景
人生匆匆数十载,不要一路狂奔而忘记欣赏路边的美景,有时候我们需要花点时间来欣赏一路的美景:
# 设置固定重试时间
@retry(wait_fixed=2000)
def wait_fixed_time():
print(“wait”)
raise Exception(“raise exception”)
wait_fixed_time()
给失败设个限
虽说我们需要屡败屡战的韧性,但是失败也要有个限度,不能在失败中度过一生:
# 设置重试时间的随机范围
文末有福利领取哦~
👉一、Python所有方向的学习路线
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
👉二、Python必备开发工具
👉三、Python视频合集
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
👉 四、实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(文末领读者福利)
👉五、Python练习题
检查学习结果。
👉六、面试资料
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
👉因篇幅有限,仅展示部分资料,这份完整版的Python全套学习资料已经上传
小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数初中级Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频
如果你觉得这些内容对你有帮助,可以添加下面V无偿领取!(备注:python)
索成长或者是报班学习,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!**
因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频
如果你觉得这些内容对你有帮助,可以添加下面V无偿领取!(备注:python)
[外链图片转存中…(img-EuhQBbLk-1710866822241)]