airflow
airflow调度相关操作
盛源_01
真正的优秀是习惯的优秀。
展开
-
airflow使用汇总
1 airflow分支Airflow的BranchPythonOperator如何工作---原创 2021-12-09 15:38:59 · 837 阅读 · 0 评论 -
airflow依赖上游设置
1 周表依赖与天表1 只依赖上周的最后一天# 获取上周最后一天的日期def getTrueWeek(ds): import datetime # 循环到本周末 while ds.weekday() != 6: ds += datetime.timedelta(days=1) # 格式化到上游的定时 return ds.replace(hour=23, minute=10, second=0) from airflow.sensors原创 2021-12-09 11:38:19 · 978 阅读 · 0 评论 -
airflow的xcom使用
1 具体使用样例def push_ids(**context): # 获取最新分区 import os bash_command = 'hive -S -e "set hive.cli.print.header=flase; show partitions table_name;" | sort | tail -1' res=os.popen( bash_command ) max_dt=res.read().replace('\n', '').replace(原创 2021-06-30 10:05:30 · 2743 阅读 · 0 评论 -
airflow获取时间参数
1 获得年year = "{{ macros.ds_format(ds,'%Y-%m-%d','%Y') }}"2 获得月month = "{{ macros.ds_format(ds,'%Y-%m-%d','%m') }}"3 获得周week = "{{ macros.ds_format(ds,'%Y-%m-%d','%W') }}"4获取天dt = "{{ macros.ds_format(ds,'%Y-%m-%d',%d') }}"5 获得小时hour = "...原创 2020-09-16 21:35:55 · 4550 阅读 · 0 评论 -
airflow自定义宏
1 自定义宏使用样例代码import airflowfrom airflow import DAGfrom airflow.operators.dummy_operator import DummyOperatorfrom datetime import datetime,timedeltafrom airflow.operators.bash_operator import BashOperator# --------------------- 1 脚本位置--------------原创 2020-09-07 23:30:33 · 1459 阅读 · 0 评论