dolphinscheduler 参数及日期处理

已于 2022-01-22 17:47:27 修改
阅读量5.8k 收藏 1
点赞数
分类专栏： workflows 文章标签： dolphin parameter date 处理 sql
于 2021-07-16 01:52:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40455124/article/details/118774684
版权
本文详细介绍了Dolphinscheduler的参数处理，包括不支持上下游传递、全局参数的使用，以及如何处理SQL参数。同时，文章讨论了Dolphinscheduler内置的日期处理方法，特别是针对SQL语句中的日期函数，并提醒了不支持特定的表达式。此外，还提到了利用全局变量进行日期转换的方法，以MySQL为例展示了配置和应用。读者可以通过提供的测试流程JSON文件进行实践。
摘要由CSDN通过智能技术生成

dolphinscheduler 参数

dolphinscheduler 参数关键点：

  • 不支持上下游传递，即上游的out给下游作为in输入
  • 不支持在启动流程时候配置参数
  • 有全局参数，可以在每个task使用
  • OUT参数貌似只用于存储过程输出

PS:本文基于1.3.6版本，在2版本支持Shell、SQL、Procedure间参数传递，可以参考
https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/guide/parameter/context.html

sql参数处理

sql参数类似preparedStatment，将${para}转为？，然后赋值，看woker日志可以有如下类似内容：

[INFO] 2021-07-15 23:47:54.910  - [
了解本专栏 订阅专栏 解锁全文 超级会员免费看
weixin_40455124
关注
专栏目录
订阅专栏
Apache DolphinScheduler内置时间参数
zhengzaifeidelushang的博客
11-26 3033
Apache DolphinScheduler内置时间参数一、${yyyyMMdd}二、$[yyyyMMdd-1/24]三、$[yyyyMMdd-2/24]四、$[yyyyMMdd-1]五、$[HH]六、$[HH-1/24]七、$[HH-2/24] 一、${yyyyMMdd} echo '测试能否获取时间{yyyyMMdd}' echo ${yyyyMMdd} 示例： 测试能否获取时间 20211118 二、$[yyyyMMdd-1/24] echo '测试能否获取时间[yyyyMMdd-1/24]'
DolphinScheduler_时间参数
超的专栏
01-21 5512
DolphinScheduler_时间参数
dolphinscheduler parameter and date compute test.json
07-16
dolphinscheduler 日期转换及参数测试流程
Dolphinscheduler二次开发支持DataX的自定义参数传递实现数据UPSET
最新发布
weixin_42890062的博客
07-23 1885
dolphinscheduler二次开发适配DataX的自定义参数传递
dolphinscheduler_sql_调用时间参数
超的专栏
02-11 2123
dolphinscheduler_sql_调用时间参数
Apache DolphinScheduler 海豚调度器自定义时间参数
热门推荐
suncat的博客
03-03 1万+
在Apache DolphinScheduler 海豚调度器（本文简称:小海豚） 官网中，我们看到其自定义时间的参数是这样介绍的 1.支持代码中自定义变量名，声明方式：${变量名}。可以是引用 "系统参数" 或指定 "常量"。 2.我们定义这种基准变量为 [...] 格式的，[yyyyMMddHHmmss] 是可以任意分解组合的，比如：$[yyyyMMdd], $[HHmmss], $[yyyy-MM-dd] 等 3.也可以使用以下格式： * 后 N 年：$[add_months(yyyyMMdd
dolphinScheduler海豚调度器动态传递任务执行参数
02-23
### dolphinScheduler海豚调度器动态传递任务执行参数 #### 一、重要性及应用场景 **dolphinScheduler**（简称DS）是一款强大的分布式任务调度平台，支持多种类型的作业执行，如Shell、Python、Spark等。它能够...
DolphinScheduler【部署 01】分布式可视化工作流任务调度工具DolphinScheduler部署使用实例分享（一篇入门学会使用DolphinScheduler）(1)
2401_84297035的博客
05-04 1059
简介来自官方文档，进行简单整理：一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。
Apache DolphinScheduler 在叽里呱啦的实战经验
数据之路
06-24 2770
作者简介：wade，叽里呱啦攻城狮一枚，曾就职于苏宁，同花顺等，9个月大粿粿的爸爸。 前言 “工欲善其事，必先利其器” 在2019年进行数仓建设时，选择一款易用、方便、高效的调度系统被摆在非常突出的位置，感谢前同事马振洋同学和杨孟霏同学的付出，最终有缘选择了DolphinScheduler的前身EasyScheduler (后面使用ES代替)，版本为1.1，差不多成了第一批在生产上使用海豚调度产品的吃瓜群众，同时我们也在密切关注社区的变化，并成功...
大数据技术之DolphinScheduler2.x视频教程
07-08
视频详细讲解，需要的小伙伴自行网盘下载，链接见附件，永久有效。 DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台，致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 本套教程基于DolphinScheduler 2.0.5版本，多角度调研与其他大数据框架的版本兼容性，给出管家式的部署安装过程，并对工作流的配置、依赖设置、参数设置等做出了详尽讲解。 教程在讲解框架的基础架构，介绍角色的主要作用，演示常见的使用之外，还做了进阶讲解，探讨了工作流传参的相关技巧，依赖资源的引用方式，如何完成邮件告警，以及如何做到工作流失败重跑等。教程堪称保姆级讲解，从安装到优化，所有操作一网打尽，带你轻松掌握当下火热的工作流调度平台：DolphinScheduler。
Dolphinscheduler 参数使用说明
weixin_46292457的博客
03-14 1063
【代码】Dolphinscheduler 参数使用说明。
DolphinScheduler使用系统时间
熊浪的博客
06-24 6629
（一）、add_months()加减月份，加减12月就是年份，格式可以说yyyyMMdd，yyyyMM，yyyy （二）、直接±指的是加减天数，加减7天就是一周，格式可以说yyyyMMdd，yyyyMM，yyyy （三）、时分秒±是加减也是天，天除以24小时，前面的就算小时，再除以60表示分钟 （四）、即使格式只是yyyy，yyyyMM，±也是天数的加减，yyyy，yyyyMM只是输出格式时分秒类似...............
Apache DolphinScheduler v1.3.9 补数执行连续月任务的参数配置方法
技术小站
10-27 1518
如何在 DolphinScheduler v1.3.9 中使用补数连续执行月任务。
DolphinScheduler 补数
NDF923的专栏
03-20 825
在工作流实例里也可以看到调度的情况，默认是调度时间范围内的每天8点，这是因为我的定时任务下线了，按照ds默认的时间，当然我这是T+1的，至于哪个时间点执行都无所谓了。不过这里要注意的一点是我的数仓是T+1的，所以启动参数传的是当前时间的前一天，那调度日期选择23号到25号，其实最后跑的数是22号到24号的数据。也就是如果要补 23号到25号的数 ，调度时间这里要选择24号到26号；2、选择要补数的日期范围，选择补23号到25号的数；需要注意的就是上图中的1和2；选择好时间后，点击“确定”即可；
Apache DolphinScheduler的工作流传参
Bulut0907
08-11 3785
使用add_months()函数，该函数用于加减月份， 第一个入口参数为[yyyyMMdd]，表示返回时间的格式，第二个入口参数为月份偏移量，表示加减多少个月。本地参数：作用于工作流的当前任务节点，在任务定义页面进行配置。如下所示，其中IN表示本地参数。当参数名相同时，参数的优先级从高到低为：本地参数 > 上游任务传递的参数 > 全局参数。全局参数：作用于工作流的所有任务节点有效。进行key和value的设置，再通过OUT的方式将key传递到下游。下游直接进行参数的获取即可，如下所示。...
DolphinScheduler
Leeyehong_self的专栏
07-15 3864
大数据调度工具
【任务调度】Apache DolphinScheduler中关于全局参数设置、自定义参数、补数的介绍
weixin_42369773的博客
05-22 2906
海豚调度DolphinScheduler中关于全局参数设置、自定义参数、补数的介绍
dolphinscheduler 参数
05-25
DolphinScheduler 是一个分布式的、易扩展的、高可用的任务调度系统。以下是 DolphinScheduler 的一些常用参数： 1. 全局参数： - `dolphinscheduler.env.path`: 配置文件路径 - `dolphinscheduler.log.path`: 日志文件路径 - `dolphinscheduler.log.retention`: 日志文件保留天数 - `dolphinscheduler.task.commit.retryTimes`: 任务重试次数 - `dolphinscheduler.task.commit.interval`: 任务提交间隔时间（单位秒） - `dolphinscheduler.task.commit.retryInterval`: 任务重试间隔时间（单位秒） - `dolphinscheduler.db.check.interval`: 数据库连接检查间隔时间（单位秒） - `dolphinscheduler.db.maxWaitMillis`: 数据库连接等待超时时间（单位毫秒） 2. Master 参数： - `dolphinscheduler.master.exec.threads`: Master 执行任务的线程数 - `dolphinscheduler.master.heartbeat.interval`: Master 心跳间隔时间（单位秒） - `dolphinscheduler.master.task.commit.retryTimes`: Master 重试提交任务次数 - `dolphinscheduler.master.task.commit.interval`: Master 提交任务间隔时间（单位秒） - `dolphinscheduler.master.task.commit.retryInterval`: Master 重试提交任务间隔时间（单位秒） 3. Worker 参数： - `dolphinscheduler.worker.exec.threads`: Worker 执行任务的线程数 - `dolphinscheduler.worker.heartbeat.interval`: Worker 心跳间隔时间（单位秒） - `dolphinscheduler.worker.fetch.task.num`: Worker 一次获取任务的数量 - `dolphinscheduler.worker.max.cpuload.avg`: Worker 最大 CPU 平均负载 - `dolphinscheduler.worker.max.cpu.usage`: Worker 最大 CPU 使用率 - `dolphinscheduler.worker.max.memory.usage`: Worker 最大内存使用率 以上是一些常用的 DolphinScheduler 参数，具体使用还需根据实际情况进行配置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

weixin_40455124

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值