DophineSheduler上下游任务之间动态传参案例及易错点总结

本文详细介绍了Apache DolphinScheduler中不同任务类型如SQL和Shell的任务间参数传递方法,包括设置输出参数、引用上游变量、shell脚本中的特殊语法等,并提供了一个完整的串联任务案例。还指出了在3.0.0-beta-1版本后修复的动态传参问题,以及在使用过程中的常见错误和注意事项。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

目录

 0 需求

 1 SQL任务

 2 shell任务

3 总体传参串联任务案例

 4 小结


0 需求

在ETL任务之间调度时,我们有时会需要将上游的计算结果作为参数传入到下游,针对这种业务需求,海豚调度器为我们提供了选择。具体如下:

DolphinScheduler 允许在任务间进行参数传递,目前传递方向仅支持上游单向传递给下游。目前支持这个特性的任务类型有:

 当定义上游节点时,如果有需要将该节点的结果传递给有依赖关系的下游节点,需要在【当前节点设置】的【自定义参数】设置一个方向是 OUT 的变量。目前我们主要针对 SQL 和 SHELL 节点做了可以向下传递参数的功能。

 1 SQL任务

步骤1:sql任务构建

测试SQL如下<

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值