airflow backfill参数详解

airflow backfill参数详解

官网地址：

https://airflow.apache.org/docs/apache-airflow/stable/cli-and-env-variables-ref.html#cli

一 常用子参数

-s ，–start-date

​ 重刷该日期的任务（闭区间）

-e , --end-date

​ 重刷任务的结束日期（开区间）

-i , --ignore-dependencies

​ 忽略上游依赖任务

–reset_dagruns

​ 清空当前dag的状态，重新运行

-y, --yes

​ 不提示确认重置，强制重刷

-sd ，–subdir

​ 指定dag脚本路径，指定路径后airflow就不会全部扫描了，缩短扫描时间

-m, --mark-success

​ 将某个任务标记成功而不运行

二 airflow任务调度时间参数

2.1 yyyy-mm-dd格式

{{ds}} #逻辑执行时间 即当前时间 - 1day
{{ macros.ds_add(ds, -n)}} #逻辑执行时间 相对于逻辑时间的加减

2.2yyyy-MMdd格式

{{ds_nodash}} #逻辑执行时间 即当前时间 -1day
{{ macros.ds_add(ds, -36).replace("-","") }} # 逻辑执行时间 相对于逻辑时间的加减

三 airflow常用命令

3.1mark success

airflow backfill \
    trandw.XXXXXX_dag \
    -s 2021-09-01 -e 2021-10-08 \
    -sd /data/XXXXX_dag.py \
	-m