DolphinScheduler 补数

于 2024-03-20 15:36:13 发布
阅读量413 收藏 2
点赞数 5
分类专栏： 大数据 文章标签： 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/NDF923/article/details/136878050
版权

使用DolphinScheduler的补数功能，其实很简单，如下图所示：

需要注意的就是上图中的1和2； 
1、勾选补数；

2、选择要补数的日期范围，选择补23号到25号的数；不过这里要注意的一点是我的数仓是T+1的，所以启动参数传的是当前时间的前一天，那调度日期选择23号到25号，其实最后跑的数是22号到24号的数据，以下图为证：

也就是如果要补 23号到25号的数 ，调度时间这里要选择24号到26号；

选择好时间后，点击“确定”即可；

在工作流实例里也可以看到调度的情况，默认是调度时间范围内的每天8点，这是因为我的定时任务下线了，按照ds默认的时间，当然我这是T+1的，至于哪个时间点执行都无所谓了。

 

参考文章：Apache DolphinScheduler 补数功能应用_dolphinscheduler补数-CSDN博客

码道功成
关注
  • 5
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
基于DolphinScheduler构建大数据调度平台
08-02
Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度系统，致力于“解决大数据任务之间错综复杂的依赖关系，整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用。 调度系统现在市面上的调度系统那么多,比如老牌的Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinScheduler ? DolphinScheduler 的定位是大数据工作流调度。通过把大数据和工作流做了重点标注. 从而可以知道DolphinScheduler的定位是针对于大数据体系。 DolphinScheduler是非常强大的大数据调度工具，有以下一些特点：1、通过拖拽以DAG 图的方式将 Task 按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态；2、支持丰富的任务类型；3、支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill 任务等操作；4、支持工作流全局参数及节点自定义参数设置；5、支持集群HA，通过 Zookeeper实现 Master 集群和 Worker 集群去中心化；6、支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计；7、支持补数，并行或串行回填数据。课程会带大家构建DolphinScheduler大数据调度平台，实战讲解多种任务调度配置，会基于案例讲解DolphinScheduler使用，让大家在实战中掌握DolphinScheduler。 DolphinScheduler 发展很快 很多公司调度都切换到了DolphinScheduler，掌握DolphinScheduler调度使用势在必行，抓住新技术机遇，为跳巢涨薪做好准备。
dolphinscheduler配置
07-13
dolphinscheduler使用hive，hadoop，spark，datax，python，scala修改添加的配置
dolphinscheduler工作流模板
07-06
HIVE建表； Mysql同步HIVE； HIVE同步Mysql； HIVE运算；
Apache DolphinScheduler 补数功能应用
小陈陈陈陈.的博客
03-29 1090
Apache DolphinScheduler 补数功能应用。Apache DolphinScheduler是一个分布式和可扩展的开源工作流协调平台，具有强大的DAG可视化界面。
深入浅出 Apache DolpinScheduler 补数功能
Apache DolphinScheduler开源社区
06-05 1288
点击蓝字，关注我们????引言大家好，我叫侯世涛，是个人开发者，也是 Apache DolphinScheduler 社区的贡献者，目前在社区参与开发已经有两年时间，欢迎大家跟我交流。本次分享将深入探讨 DolphinScheduler 的自动化补数功能，将详细介绍如何使用补数功能，摆脱手动执行脚本修复数据的繁琐过程，实现数据处理的全自动化。 文｜侯世涛编辑整理｜曾辉讲师介绍侯世涛Dolphi...
dolphinscheduler 补数据
迷途无归的博客
05-20 3127
怎么通过dolphinscheduler补数据？ 这里涉及到定时管理的一个细节，就是定时管理是否上线。 定时任务参数设定如下： 补数据的时间调度范围： 方案1：定时任务下线状态，补数据的时间是按天进行的 并行执行：每日执行一次，此处会执行13号 方案2：定时任务在线状态，补数据的时间是按照定时管理中设定的时间 串行执行：每日两次，顺序执行 并行执行：每日两次，并发执行 注：此处显示的时间是东八区时间（格林威治时间 + 8: 00），定时参数填的是格林威治时间 ...
Dolphinscheduler补数功能
ZSP1741348006的博客
09-27 2886
以增量同步数据为例，补数功能的实现如下： 增量 select 字段一, 字段二, ..... 字段N, from 表名 WHERE DATE_FORMAT(update_time, '%Y-%m-%d') >= ${start_time} AND DATE_FORMAT(update_time, '%Y-%m-%d') < ${end_time}; –自定义参数： prop: start_time, value: $
dolphinscheduler 1.3.6 编译镜像
07-28
dolphinscheduler 1.3.6 编译镜像，用于编译dolphinscheduler
k8s部署dolphinscheduler3.1.2 踩坑记录
07-13
k8s部署dolphinscheduler 踩坑记录3.1.2，全流程
DolphinScheduler（apache-dolphinscheduler-2.0.5-bin.tar.gz）
06-23
Apache DolphinScheduler（apache-dolphinscheduler-2.0.5-bin.tar.gz）是一个分布式易扩展的可视化DAG工作流任务调度开源系统。解决数据研发ETL 错综复杂的依赖关系，不能直观监控任务健康状态等问题。Dolphin...
Apache DolphinScheduler v1.3.9 补数执行连续月任务的参数配置方法
技术小站
10-27 1406
如何在 DolphinScheduler v1.3.9 中使用补数连续执行月任务。
Dolphinscheduler 补数功能使用
gg1314723的博客
09-06 1442
dolphinscheduler 补数问题
20230109-随笔 dolphinscheduler-2.0.5 存储过程补数时${system.biz.date} 不减一
01-09 446
前一天变量，比如今天20230109，执行时传入的是20230108；但是补数时，比如选择20230106，预期应该是20230105，实际上还是20230106。2.0.6代码已做过优化，做了空判断，直接拿过来！补数时去掉了减1操作，直接去掉。
Apache DolphinSchedule 安装部署踩坑
Nice的博客
02-28 5660
Apache DS 安装部署 @Author：Michealkz 镜像下载地址 官方下载地址：https://dolphinscheduler.apache.org/zh-cn/download/download.html 国内镜像下载地址： # 清华源下载地址 https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/dolphinscheduler/1.3.5/apache-dolphinscheduler-incubating-1.3.5-dolphi
DolphinScheduler海豚调度教程
m0_46168848的博客
05-04 1万+
DolphinScheduler 教程Apache DolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。解决数据研发ETL 错综复杂的依赖关系，不能直观监控任务健康状态等问题。DolphinScheduler以DAG流式的方式将Task组装起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作DAG监控界面，所有流程定义都是可视化，通过拖拽任务定制DAG，通过API方式与第三方系统对接, 一键部署去中心化的多Master和多Worker
深入了解海豚调度DolphinScheduler
热门推荐
zhengzaifeidelushang的博客
11-14 5万+
深入了解海豚调度DolphinScheduler
Apache DolphinScheduler 2.0.7 发布，修复补数及容错故障问题
Apache DolphinScheduler开源社区
10-26 778
点亮⭐️Star · 照亮开源之路https://github.com/apache/dolphinscheduler版本发布2022/10/26近日，Apache DolphinScheduler 2.0.7 版本正式发布。新版本修复了若干补数和容错 Bug，解决了跑批数据不一致等问题。1主要故障修复No.1依赖节点包含禁止运行的任务而依赖继续检测的问题DolphinSchedule...
dolphinscheduler 补数
最新发布
09-19
dolphinscheduler补数是指在数据仓库中缺失的数据通过一定的计算方法进行填充，以保证数据的完整性和准确性。具体来说，dolphinscheduler补数可以通过任务调度系统自动执行相关任务，将缺失的数据进行计算和填充，以满足业务需求。在进行dolphinscheduler补数之前，需要进行一些配置工作，包括设置JVM参数、创建部署用户并配置sudo免密及权限等。只有在完成这些配置后，dolphinscheduler才能正常进行补数操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码道功成

过程不易，恳请支持一下！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值