DolphinScheduler 进阶（工作流传参）

最新推荐文章于 2024-10-22 11:15:56 发布
最新推荐文章于 2024-10-22 11:15:56 发布
阅读量5.1k 收藏 7
点赞数
分类专栏： # DolphinScheduler 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45417821/article/details/127091817
版权

文章目录

本地参数和全局参数

DolphinScheduler 支持对任务节点进行灵活的传参，任务节点可通过 ${参数名} 引用参数值。

本地参数

本地参数是指只针对单个任务节点有效的参数。

（1）修改 helloworld 工作流 Node-A 节点如下

在这里插入图片描述

➢ dt：参数名
➢ IN/OUT：IN 表示向当前节点传参，OUT 表示向下游节点传参
➢ VARCHAR：参数值类型
➢ 2022-09-20：参数值

（2）保存工作流并运行，查看 Node-A 输出日志。

在这里插入图片描述

全局参数

全局参数是指针对整个工作流的所有任务节点都有效的参数。

（1）修改 helloworld 工作流每个任务节点如下

节点 A 配置

在这里插入图片描述

节点 B 配置

最低0.47元/天 解锁文章
DophineSheduler上下游任务之间动态传参案例及易错点总结
石榴姐yyds
06-03 6277
本文总结了DophineSheduler上下游任务之间参数传递的方法，并对其中的易错点进行了梳理，同时给出了具体参数传递的案例，读者可自行进行摸索。
Dolphinscheduler 参数传递
最新发布
qq_15138049的博客
02-10 299
参数传递
Apache DolphinScheduler的工作流传参
Bulut0907
08-11 4278
使用add_months()函数，该函数用于加减月份， 第一个入口参数为[yyyyMMdd]，表示返回时间的格式，第二个入口参数为月份偏移量，表示加减多少个月。本地参数：作用于工作流的当前任务节点，在任务定义页面进行配置。如下所示，其中IN表示本地参数。当参数名相同时，参数的优先级从高到低为：本地参数 > 上游任务传递的参数 > 全局参数。全局参数：作用于工作流的所有任务节点有效。进行key和value的设置，再通过OUT的方式将key传递到下游。下游直接进行参数的获取即可，如下所示。...
【大数据】DolphinScheduler将上游Task执行结果传递给下游Task
Jeffray1991的博客
10-22 1916
DolphinScheduler将上游Task执行结果传递给下游Task，实现Task上下游之间的参数动态传递与使用。
海豚dolphinscheduler 通过shell 调用.sql文件 传参
超的专栏
12-28 4604
dolphinscheduler 海豚调度器 通过shell节点 调用.sql文件
Dolphinscheduler 参数使用说明
weixin_46292457的博客
03-14 1402
【代码】Dolphinscheduler 参数使用说明。
DolphinScheduler 进阶（工作流失败重跑）
weixin_45417821的博客
09-28 2523
若工作流执行到一半失败了，需要重新启动工作流。重新启动时可选择从起点开始执行，也可选择从断点开始执行。
Dolphin Scheduler 进阶教程
2301_79362607的博客
09-09 732
参数说明后N 年前N 年后N 月前N 月后N 周前N 周后N 天前N 天后N 小时前N 小时后N 分钟前N 分钟在a3任务中。
DolphinScheduler 进阶（告警通知）
weixin_45417821的博客
09-28 4264
如需使用 DolphinScheduler 的电子邮件告警通知功能，需要准备一个电子邮箱账号，并启用 SMTP 服务。此处以 QQ 邮箱为例。拖动进度条在页面下方找到下图所示内容，开启 POP3/SMTP | IMAP/SMTP 任一服务即可。（1）开启 SMTP 服务。编辑好告警组之后，点击提交。第一步：点击创建告警实例。（1）切换管理员用户。第二步：编辑告警实例。（2）执行工作流测试。
dolphinscheduler工作流模板
07-06
《Dolphinscheduler工作流模板在大数据处理中的应用》 Dolphinscheduler是一款强大的工作流调度系统，尤其在大数据处理领域，它以其直观的图形化界面、丰富的任务类型以及强大的协同能力，为数据工程师提供了高效的...
dolphinscheduler parameter and date compute test.json
07-16
dolphinscheduler 日期转换及参数测试流程
dolphinScheduler海豚调度器动态传递任务执行参数
02-23
dolphinScheduler海豚调度器通过设定参数值动态传参，让整个任务流都可以接收到任务参数，方便大批量补采数据任务时无需手动修改每个任务节点的任务执行参数，只需要在入口处对该参数进行修改，然后运行即可。 举例说明： 每个任务执行内容为 python3 aaa.py ${date_str}，其中date_str是来自于linux脚本获取的日期，如果需要重新手动执行该任务时，需要将每个任务节点的date_str手动修改为具体的日期字符串，这样显然非常麻烦，通过本文的动态传递参数的方法，只需要修改最开始传递的变量参数，即可让后续所有任务接收到指定的任务参数值，极大地解放生产力！
大数据技术之DolphinScheduler2.x视频教程
07-08
视频详细讲解，需要的小伙伴自行网盘下载，链接见附件，永久有效。 DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台，致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 本套教程基于DolphinScheduler 2.0.5版本，多角度调研与其他大数据框架的版本兼容性，给出管家式的部署安装过程，并对工作流的配置、依赖设置、参数设置等做出了详尽讲解。 教程在讲解框架的基础架构，介绍角色的主要作用，演示常见的使用之外，还做了进阶讲解，探讨了工作流传参的相关技巧，依赖资源的引用方式，如何完成邮件告警，以及如何做到工作流失败重跑等。教程堪称保姆级讲解，从安装到优化，所有操作一网打尽，带你轻松掌握当下火热的工作流调度平台：DolphinScheduler。
DolphinScheduler 之时间参数
youziguo的专栏
10-15 2745
在 DolphinScheduler 中，调度时对时间参数的使用非常重要，尤其是当你在数据处理、ETL 任务或其他需要依赖时间范围的任务场景中。DolphinScheduler 允许通过多种方式灵活地配置时间参数，以适应不同的任务调度需求。以下是时间参数在 DolphinScheduler 调度中的常见使用方法：
12、DolphinScheduler
赞的心路历程
01-06 2023
打开要设置分组的 Worker 节点上的 worker.properties 配置文件，修改 worker.groups 参 数，worker.groups 参数的值为该 Worker 节点对应的分组名称,默认为 default，如果该 worker。此处可配置 Worker 运行环境（任务运行时所需的环境变量），默认的运行环境由 Worker节点中，dolphinscheduler 安装目录下的 conf/env/dolphinscheduler_env.sh 决定。
dolphinscheduler3.2.0版本参数传递并使用switch任务进行判断
weixin_33737110的博客
08-30 409
目标：根据日期判断执行哪项子任务调度器版本：3.2.0在这个版本中官方支持的参数传递任务类型有6中，分别为shell,sql,procedure,python,subprocess,kubernetes。失败样例Switch任务是根据全局变量的值进行判断的，无法直接使用上游传递的参数，同时，如果使用任务的全局参数(dt=$...
DolphinScheduler使用文档
热门推荐
MiaoSO的博客
03-10 3万+
工作流任务调度系统：Apache DolphinScheduler 工作流任务调度系统：Apache DolphinScheduler 一、文档说明 1.1 DolphinScheduler 说明 1.2 相关网址 1.3 名词解释 1.4 DolphinScheduler 架构 1.4.1 MasterServer 1.4.2 WorkerServer 1.4.3 ZooKeeper 1...
DolphinScheduler
Leeyehong_self的专栏
07-15 4498
大数据调度工具
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值