airflow设置dag并行运行task个数

concurrency是设置设置dag并行运行task的个数,但是

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2020,9,13),#任务启动时间点,须小于实际执行的时间的下一个间隔
    'email': ['airflow@example.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
    'concurrency': 15
}

dag = DAG(
    'tutorial',
    default_args=default_args,
    description='A simple tutorial DAG',
    schedule_interval=timedelta(days=1),
)

写在参数列表时无效的

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2020,9,13),#任务启动时间点,须小于实际执行的时间的下一个间隔
    'email': ['airflow@example.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
    
}

dag = DAG(
    'tutorial',
    default_args=default_args,
   concurrency: 15
    description='A simple tutorial DAG',
    schedule_interval=timedelta(days=1),
)

这样写才有效

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Airflow 是一个基于 Python 的工作流管理系统,在处理复杂的工作流时,自动化的任务调度和任务流的管理是非常重要的。在 AirflowDAG(Directed Acyclic Graph)是一个非常重要的概念,它定义了工作流中所有任务之间的依赖关系。在 Airflow 中,DAG 的获取依赖是通过 `airflow.models.DAG` 类实现的。 在 DAG 中,我们可以通过 `dependencies()` 方法获取 DAG 的依赖关系。这个方法返回的是一个列表,其中包含了所有依赖的任务。对于一个 DAG,可以从顶部任务开始递归地获取其所有的依赖关系。对于每一个任务节点,我们需要获取其输入和输出,根据 DAG 中的依赖关系,将所有输入任务的输出和自身输出加入到依赖列表中。这个依赖的过程可以递归进行,直到所有的任务节点都处理完毕,得到整个 DAG 的依赖结构。 除了 `dependencies()` 方法,我们还可以通过 `subdag()` 方法获取 DAG 子图的依赖关系。一个 DAG 可以包含多个子图,每个子图都是一个 DAG,它包含了一组关联的任务,这些任务可以被独立地调度和执行。通过调用父 DAG 的 `subdag()` 方法可以获得子 DAG,然后对子 DAG 进行依赖的处理,得到子 DAG 的依赖关系。 Airflow 对于 DAG 的依赖处理非常灵活,不仅支持序列依赖和并行依赖,还支持条件依赖和跳过依赖等特殊的依赖处理方式。这些依赖处理方式可以通过 DAG 中的 `xcom_push()`、`set_downstream()`、`set_upstream()`、`set_following()`、`set_following_ids()` 等方法来实现。通过这些方法,我们可以非常灵活地构建复杂的 DAG,实现自 动化的任务调度和任务流的管理。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值