Apache DolphinScheduler 2.0.7 发布,修复补数及容错故障问题

 点亮 ⭐️ Star · 照亮开源之路

https://github.com/apache/dolphinscheduler

3c48c255b3bd99985e05d3fa5835d6ab.jpeg

版本发布

 2022/10/26 

近日,Apache DolphinScheduler 2.0.7 版本正式发布。新版本修复了若干补数和容错 Bug,解决了跑批数据不一致等问题。

1

主要故障修复

No.1 依赖节点包含禁止运行的任务而依赖继续检测的问题

DolphinScheduler

  • 在 2.0.6 版本中,当依赖节点有禁止运行的任务时,由于禁止运行的任务不产生任务实例,依赖节点会因找不任务实例持续检测,从而导致依赖节点的后置任务不提交。此问题在 2.0.7 版本中已修复。

  • 对应 PR https://github.com/apache/dolphinscheduler/pull/10952

No.2 补数时间默认加一天问题

DolphinScheduler

  • 在上个版本,当补数时间选择2022 年 10 月 1 号时,对于时间参数 $[yyyy-MM-dd],输出日期为 2022-10-02,这样日期就不是想要补数的日期了。为解决此问题,新版本对补数日期进行整体减一天的处理,以校正输出日期。

  • 对应 PR:https://github.com/apache/dolphinscheduler/pull/12376

No.3 任务容错时无法重新提交的问题

DolphinScheduler

  • 在上个版本,假若有 2 个 Worker 节点,每个 Worker 正在运行 10 个任务和内部排队 10 个任务,当 Worker 1 挂断时,因为其中运行的任务和等待运行的任务状态都需要容错,所以状态会变成容错状态。但由于 Bug 原因,容错任务不会重新提交,这就会导致正在运行的任务后台会显示运行完成,而等待运行的任务实际上并未运行,从而导致跑批的数据不一致。

  • 此问题也已解决,对应 PR https://github.com/apache/dolphinscheduler/pull/12423

2

Bug 修复

  • 修复监控界面磁盘监控不显示的问题

  • 修复恢复失败的任务传参问题

  • 修复依赖节点包含禁止运行的任务而依赖继续检测的问题

  • 修复 HTTP alert 中将内容字段包含在 Post 中的问题

  • 修复补数时间默认加一天的问题

  • 修复工作流中失败任务在某些情况下重试时间不起作用的问题

  • 修复工作流任务关系创建接口无依赖检测的问题

  • 修复任务容错时无法重新提交的问题

  • 修复租户名称过长时提示信息不明确的问题

3

修改记录

https://github.com/apache/dolphinscheduler/releases/tag/2.0.7

4

资源下载

https://dolphinscheduler.apache.org/zh-cn/download/download.html

Note:2.X 作为 Apache DolphinScheduler 的 Bug 修复版本系列,主要任务是维护并修复项目遗留问题,区别于 3.X 以功能更新为主的版本系列。

5

致谢

此版本与 2.0.6 版本同样基于政采云生产环境日累计调度作业量 8000+ 的调度实践,并修复在实践过程中,以及根据社区反馈所发现的问题。在此特别致谢政采云数据平台部门对此次发版的支持,也感谢所有为  Apache DolphinScheduler 2.0.7 版本发布做出贡献的人,是你们的不懈努力让社区不断进步!

✦  +

+

贡献者名单

按 GitHub ID 首字母排序

danielfree

edwardyang

hstdream

Jekong-hao

JinyLeeChina

liqingwang

lordk911

retime123

zwZjut

参与贡献

随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。

7d54c872839e14f76a8b84231251cc36.png

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

3604648053c6b4dd3dfc66b93a6950c3.png

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689

非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html

来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。

参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加小助手微信时请说明想参与贡献。

来吧,开源社区非常期待您的参与。

< 🐬🐬 >

活动推荐

Apache DolphinScheduler Meetup 

金融与物流场景深度实践

  • 活动形式:线上直播

  • 活动时间:2022 年 10 月 29 日 14:00-15:30

  • 报名方式:点击链接「一键报名」或扫描二维码预约

    https://www.slidestalk.com/m/1256

ce28c86da8417e31e32f0c797bbf2eb9.png

78bb71be93a6dfe2f6c9621eb3052927.png

a55c660dc938e8744e6f745ec5de27d4.png

添加小助手进交流群

我知道你在看6d8a64a4ef229032c1910dc0505f28dd.png

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度系统,致力于“解决大数据任务之间错综复杂的依赖关系,整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用。 调度系统现在市面上的调度系统那么多,比如老牌的Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinSchedulerDolphinScheduler 的定位是大数据工作流调度。通过把大数据工作流做了重点标注. 从而可以知道DolphinScheduler的定位是针对于大数据体系。 DolphinScheduler是非常强大的大数据调度工具,有以下一些特点:1、通过拖拽以DAG 图的方式将 Task 按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态;2、支持丰富的任务类型;3、支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill 任务等操作;4、支持工作流全局参数及节点自定义参数设置;5、支持集群HA,通过 Zookeeper实现 Master 集群和 Worker 集群去中心化;6、支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计;7、支持补数,并行或串行回填数据。课程会带大家构建DolphinScheduler大数据调度平台,实战讲解多种任务调度配置,会基于案例讲解DolphinScheduler使用,让大家在实战中掌握DolphinScheduler。 DolphinScheduler 发展很快 很多公司调度都切换到了DolphinScheduler,掌握DolphinScheduler调度使用势在必行,抓住新技术机遇,为跳巢涨薪做好准备。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DolphinScheduler社区

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值