实现重试装饰器可以防止意外的异常。
人们通常将Python描述为“胶水语言”。在我看来,“胶水”意味着一种语言能够连接系统,确保数据以正确的格式从A点达到B点。
我用Python构建了无数的ETL脚本(Extract, Transform, Load)。所有这些脚本基本上都按照相同的原理运行,从某处提取数据,转换数据,然后运行最终操作。最后的操作通常意味着将数据上传到某个地方。
现代科技公司的基础架构中越来越多的一部分正在迁移到云中,这意味着您可能需要从某个地方提取数据或在非本地计算机上写入数据。
当处理的数据量较小,几乎没有问题。如果某些提取或回调失败,您通常会注意到这一点,并且能够纠正错误。但是,当您迈向更大规模的业务并可能进行数十万笔交易时,您并不想因为网络连接的暂时中断,并发写入过多,源系统暂时无响应而被搞砸。
我发现一个简单的重试装饰器是解决此类问题的最佳方法,我在大多数项目的util模块中添加了重试装饰器。
本文来自《数据黑客》,登录官网可阅读更多精彩资讯和文章。
装饰器
函数是一级对象
在Python中,函数是一级对象(first-class object)。函数本身也是对象,这意味着可以动态创建函数,将其传递给函数本身,甚至进行更改。看下面的示例:
def my_function(x):
print(x)
IN:
my_function(2)
OUT:
2
IN:
my_function.yolo = 'you live only once'
print(my_function