Airflow Trigger DAG with config

最新推荐文章于 2024-06-18 17:31:48 发布
最新推荐文章于 2024-06-18 17:31:48 发布
阅读量3.3k 收藏
点赞数
分类专栏： 工具及软件 文章标签： airflow DAG
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoQL520/article/details/109058962
版权
本文介绍了在使用Airflow通过REST API触发DAG时遇到的Run ID冲突问题，即`manual__XXX already exists`异常。分析了异常产生的原因，主要是由于未指定或者执行时间默认精确到秒导致的。提出了三种解决方案：指定唯一的run_id、指定唯一的执行时间execution_date以及设置replace_microseconds为false以增加微秒精度。这些方法旨在确保触发DAG时的唯一性策略，减少重复异常的发生。
摘要由CSDN通过智能技术生成

1. rest api to trigger dag

POST /api/experimental/dags/<DAG_ID>/dag_runs #Creates a dag_run for a given dag id.

curl -X POST \
  http://localhost:8080/api/experimental/dags/<DAG_ID>/dag_runs \
  -H 'Cache-Control: no-cache' \
  -H 'Content-Type: application/json' \
  -d '{"conf":"{\"key\":\"value\"}"}'

2. 存在的问题：当连续trigger同一个dag,会发生Run id manual__XXX already exists 异常

error:b'400 BAD REQUEST: [{"error":"Run id manual__2020-10-13T08:53:57+00:00 already exists for dag id your_dag_name"}\n]'

异常产生的原因：

可以通过下面airflow的部分源码可以看出​​：trigger DAG后，run_id可以在trigger DAG时通过rest api的参数指定，如果没有指定，则会通过execution_date生成：run_id = "manual__{0}".format(execution_date.isoformat

最低0.47元/天 解锁文章
清萝卜头
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Apache Airflow 核心配置及优化技巧
光剑书架上的书
08-08 222
Apache Airflow是一个开源的批处理数据工作流管理系统，由Apache Software Foundation发布。Airflow是一个能够编排基于DAG(有向无环图)模型的工作流程的平台。用户可以定义任务、调度周期、依赖关系等，然后Airflow会根据定义好的计划自动执行这些任务。易于使用：Airflow UI提供友好易用的可视化界面，用户只需简单地配置任务和流程，就可以使用Airflow自动化完成相应的数据分析工作。
Airflow官方文档整理
清平乐的技术专栏
10-17 1291
Airflow官方文档整理 一、快速开始 # airflow needs a home, ~/airflow is the default, # but you can lay foundation somewhere else if you prefer # (optional) export AIRFLOW_HOME=~/airflow # install from pypi using pip pip install apache-airflow # 初始化数据库 airflow initdb
airflow笔记
黄油猫
07-11 2507
dag dag中定义的了任务类型、任务依赖、调度周期等.dag由task组中，task定义了任务的类型、任务脚本等，dag定义task之间的依赖。 task task定义任务的类型，任务内容，以及所属的dag 调度的话有两种方法，第一种是直接t1 >> t2即可 还有一种是t2.set_upstream(t1) 表示t1结束后运行t2 我们创建dag的时候需要...
AirFlow 使用指南三 第一个DAG示例
SmartSi
08-03 3万+
经过前两篇文章的简单介绍之后，我们安装了自己的AirFlow以及简单了解了DAG的定义文件．现在我们要实现自己的一个DAG． 1. 启动Web服务器 使用如下命令启用: airflow webserver 现在可以通过将浏览器导航到启动Airflow的主机上的8080端口来访问Airflow UI，例如：http://localhost:8080/admin/ 备注 Airfl...
Airflow 中的trigger_rule
最新发布
Damien_J_Scott的博客
06-18 273
在 Apache Airflow 中，trigger_rule 是用于控制任务何时被触发的规则。TriggerRule 是一个枚举类型，它包含了多种不同的触发规则。以下是这些规则及其用途的详细说明：trigger_rule的优先级非常高，就算dag顺序里面定义的路径应该走它但是trigger_rule没有满足，依然不会走，顺序里面不该走它，trigger_rule满足了他就会触发，我已经遇到几次这种错误导致我焦头烂额了
Airflow1.10.11 之 dag 接收命令行参数
dosrain
07-27 1920
1, 设计思想 有些任务的使用场景，不需要定时定期运行，只需要在特定的条件下，人工触发，顺带传入一些必要的参数，比如处理日期。 那么，我们就设计这样的使用方式: 传入 sday 参数，指定参数值为 20300101 日。 dag 的每一个 task 都接收这个参数。 被 task 调用的 shell 脚本程序，在生成的日志文件名中，包含这个 sday 的值。 2, 编写被 dag 调用的 shell 程序 [root@do-airflow ~]# vi /root/test.script.sh #!/b
Airflow安装详解（附airflow.cfg配置详解）
chenzuoli的博客
11-27 6817
标题: Airflow安装详解 日期: 2021-11-16 21:27:21 标签: [airflow] 分类: 调度系统 在讲airflow安装之前，我们先来了解下airflow的架构，这有助于我们去理解安装的步骤到底是干嘛的。 来看这篇文章：airflow架构 我讲的airflow是1.10.14版本的哈。 所以，如果我们搭建airflow是做大量的任务调度，那么就推荐元数据库使用mysql/postgresql，消息队列使用redis/rabbitmq。 我以mysql和rabbitmq为例来.
airflow2.0.0
weixin_42752585的博客
01-13 1711
airflowairflowairflow快速开始airflow 使用文档airflow启动实例运行脚本web服务器验证tutorial文件命令行元数据验证tutorial文件测验某个task实例backfill airflow airflow快速开始 文档地址(有的翻译自官网，有的是碰到的问题) airflow 使用 文档 官网文档 参考文档01 参考文档02 airflow启动 # airflow needs a home, ~/airflow is the default, # but you can
airflow 的使用之 Operators 介绍
somezz的专栏
09-27 1万+
主要内容1. Operators 简介2. BaseOperator 简介3. BashOperator4. PythonOperator5. SSHOperator6. HiveOperator7. 如何自定义Operator 搭建 airflow 的目的还是为了使用，使用离不开各种 Operators，本文主要介绍以下几点 1. Operators 简介 Operators 允许生成特定类型的...
Airflow 中文文档：调度和触发器
热门推荐
龙哥盟
11-29 3万+
Airflow调度程序监视所有任务和所有DAG，并触发已满足其依赖关系的任务实例。 在幕后，它监视并与其可能包含的所有DAG对象的文件夹保持同步，并定期（每分钟左右）检查活动任务以查看是否可以触发它们。 Airflow调度程序旨在作为Airflow生产环境中的持久服务运行。 要开始，您需要做的就是执行airflow scheduler 。 它将使用airflow.cfg指定的配置。 请注意，如果您...
漏洞复现----48、Airflow dag中的命令注入(CVE-2020-11978)
七天
07-04 1569
Airflow dag中的命令注入(CVE-2020-11978)
airflow调度系统学习笔记一一DAG触发，重启
YMY_mine的博客
10-12 4802
一、aiflow触发DAG有两种方式： 1、内部触发： 也就是通过设置参数schedule_interval 来触发DAG，时间一到，DAG就会执行 2、外部传参触发： import requests import json data={ # "ipaddr":"10.0.6.165", # "user":"postgres", "lucyIp":"10....
【记录】什么是Airflow
第一天
07-14 379
原文https://blog.csdn.net/weixin_43786255/article/details/106170869 仅仅做记录1、什么是Airflow Airflow 是一个 Airbnb 的 Workflow 开源项目，使用Python编写实现的任务管理、调度、监控工作流平台。Airflow 是基于DAG(有向无环图)的任务管理系统，可以简单理解为是高级版的crontab，但是它解决了crontab无法解决的任务依赖问题。与crontab相比Airflow可以方便查看任务的执行状况（执行是
Airflow1.10.11 之运行 dag 的三种方式
dosrain
07-27 3565
1, 准备脚本 [root@do-airflow ~]# vi test.b.script.sh #!/bin/bash S_FILE="" S_DAY=$3 if [ -z $S_DAY ]; then S_DAY=`date '+%Y%m%d'` fi S_FILE="/root/$S_DAY.$1.$2.log" rm -f $S_FILE I=0 while true; do S_MSG=`date "+%Y-%m-%d %H:%M:%S"` echo $S_MSG echo $
Airflow的使用及注意事项
lihuifen2011的博客
03-17 9472
一.关于Airflow airflow 是一个使用python语言编写的data pipeline调度和监控工作流的平台。Airflow可以用来创建、监控和调整数据管道。任何工作流都可以在这个使用Python来编写的平台上运行。 Airflow是一种允许工作流开发人员轻松创建、维护和周期性地调度运行工作流（即有向无环图或成为DAGs）的工具。因此一些任务的执行及任务调度均可通过Airflow...
airflow使用指南一（安装及常用命令）
sxf_123456的博客
03-10 4874
安装airflow1、将下载的Anaconda3-5.1.0-Linux-x86_64.sh添加可执行权限chmod +x Anaconda3-5.1.0-Linux-x86_64.sh2、安装Anaconda3./Anaconda3-5.1.0-Linux-x86_64.sh 然后，遇见选yes/no的选择yes3、在/root/.bashrc文件中添加路径export PATH=/root/a...
Apache Airflow 示例dag中的命令注入(CVE-2020-11978)
weixin_44047654的博客
11-29 783
Apache Airflow 示例dag中的命令注入(CVE-2020-11978)
airflow 获取dag依赖
05-08
在 Airflow 中，DAG 的获取依赖是通过 `airflow.models.DAG` 类实现的。 在 DAG 中，我们可以通过 `dependencies()` 方法获取 DAG 的依赖关系。这个方法返回的是一个列表，其中包含了所有依赖的任务。对于一个 DAG...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值