Airflow 在 python operator 下如何使用execution_date变量

最新推荐文章于 2023-12-06 09:37:16 发布

安木1991

最新推荐文章于 2023-12-06 09:37:16 发布

阅读量3.5k

点赞数 2

分类专栏：大数据

本文链接：https://blog.csdn.net/weixin_42900065/article/details/100942836

版权

大数据专栏收录该内容

4 篇文章 0 订阅

订阅专栏

Airflow 在 python operator 下如何使用execution_date变量呢？不复杂，但是要跳出宏变量的圈，不要老想着用下面这种宏实现就行了

thedate = '{{(execution_date - macros.timedelta(days=1)).strftime("%Y-%m-%d")}}'

在 python operator 下，用如下代码

def example(**context):
	execution_date = context['execution_date'] // 这里获取 execution_date 变量
	thedate = execution_date - timedelta(days=1) # 获得前一天的时间

task_example = PythonOperator(
    task_id='clean_adv_user_hs_to_ch',
    provide_context=True, // 这里要设置为 True
    python_callable=example,
    dag=dag,
)

参考

https://airflow.readthedocs.io/en/stable/howto/operator/python.html
https://stackoverflow.com/questions/50093718/airflow-python-script-with-execution-date-in-op-kwargs

更多架构、PHP、GO、大数据相关踩坑实践技巧请关注我的公众号