Airflow Trigger DAG with config

1. rest api to trigger dag

POST /api/experimental/dags/<DAG_ID>/dag_runs #Creates a dag_run for a given dag id.

curl -X POST \
  http://localhost:8080/api/experimental/dags/<DAG_ID>/dag_runs \
  -H 'Cache-Control: no-cache' \
  -H 'Content-Type: application/json' \
  -d '{"conf":"{\"key\":\"value\"}"}'

2. 存在的问题:当连续trigger同一个dag,会发生Run id manual__XXX already exists 异常

error:b'400 BAD REQUEST: [{"error":"Run id manual__2020-10-13T08:53:57+00:00 already exists for dag id your_dag_name"}\n]'

异常产生的原因:

可以通过下面airflow的部分源码可以看出​​:trigger DAG后,run_id可以在trigger DAG时通过rest api的参数指定,如果没有指定,则会通过execution_date生成:run_id = "manual__{0}".format(execution_date.isoformat

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Airflow 是一个基于 Python 的工作流管理系统,在处理复杂的工作流时,自动化的任务调度和任务流的管理是非常重要的。在 AirflowDAG(Directed Acyclic Graph)是一个非常重要的概念,它定义了工作流中所有任务之间的依赖关系。在 Airflow 中,DAG 的获取依赖是通过 `airflow.models.DAG` 类实现的。 在 DAG 中,我们可以通过 `dependencies()` 方法获取 DAG 的依赖关系。这个方法返回的是一个列表,其中包含了所有依赖的任务。对于一个 DAG,可以从顶部任务开始递归地获取其所有的依赖关系。对于每一个任务节点,我们需要获取其输入和输出,根据 DAG 中的依赖关系,将所有输入任务的输出和自身输出加入到依赖列表中。这个依赖的过程可以递归进行,直到所有的任务节点都处理完毕,得到整个 DAG 的依赖结构。 除了 `dependencies()` 方法,我们还可以通过 `subdag()` 方法获取 DAG 子图的依赖关系。一个 DAG 可以包含多个子图,每个子图都是一个 DAG,它包含了一组关联的任务,这些任务可以被独立地调度和执行。通过调用父 DAG 的 `subdag()` 方法可以获得子 DAG,然后对子 DAG 进行依赖的处理,得到子 DAG 的依赖关系。 Airflow 对于 DAG 的依赖处理非常灵活,不仅支持序列依赖和并行依赖,还支持条件依赖和跳过依赖等特殊的依赖处理方式。这些依赖处理方式可以通过 DAG 中的 `xcom_push()`、`set_downstream()`、`set_upstream()`、`set_following()`、`set_following_ids()` 等方法来实现。通过这些方法,我们可以非常灵活地构建复杂的 DAG,实现自 动化的任务调度和任务流的管理。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值