重构、插件化、性能提升 20 倍,Apache DolphinScheduler 2.0 alpha 发布亮点太多!

点击上方 dc2df95b3a1d24430cea96a2b8af5045.png蓝字关注我们

714ac9c6ef3eef5f134b2959870f4dd4.png

8f9af72ac864c63feadf73b08cc59dce.png

社区的小伙伴们,好消息!经过 100 多位社区贡献者近 10 个月的共同努力,我们很高兴地宣布 Apache DolphinScheduler 2.0 alpha 发布。这是 DolphinScheduler 自进入 Apache 以来的首个大版本,进行了多项关键更新和优化,是 DolphinScheduler 发展中的里程碑。

DolphinScheduler 2.0 alpha 主要重构了 Master 的实现,大幅优化了元数据结构和处理流程,增加了 SPI 插件化等能力,在性能上提升 20 倍。同时,新版本设计了全新的 UI 界面,带来更好的用户体验。另外,2.0 alpha 还新添加和优化了一些社区呼声极高的功能,如参数传递、版本控制、导入导出等功能。

注意:当前 alpha 版本还未支持自动升级,我们将在下个版本中支持这一功能。

1127d7c9ff05035a8f3f2f6c982cc2f8.png

2.0 alpha 下载地址:https://dolphinscheduler.apache.org/en-us/download/download.html

434d56bc6e92ff4ef618fa7ee352356e.png

优化内核,性能提升 20 倍

695ae2575a4d86b20e2176ff402f5a5e.png

相较于 DolphinScheduler 1.3.8,同等硬件配置下(3 台 8 核 16 G),2.0 alpha 吞吐性能提升 20 倍,这主要得益于 Master 的重构,Master 执行流程和优化了工作流处理流程等,包括:

  • 重构 Master 的执行流程,将之前状态轮询监控改为事件通知机制,大幅减轻了数据库的轮询压力;

  • 去掉全局锁,增加了 Master 的分片处理机制,将顺序读写命令改为并行处理,增强了 Master 横向扩展能力;

  • 优化工作流处理流程,减少了线程池的使用,大幅提升单个 Master 处理的工作流数量;

  • 增加缓存机制,大幅减少数据库的操作次数;

  • 优化数据库连接方式,极大地缩减数据库操作耗时;

  • 简化处理流程,减少处理过程中不必要的耗时操作。

ef58cf8303ed6e4da7136e8acee643a8.png

优化 UI 组件,全新的 UI 界面

f1eb1667bc224ab9ea3ba77164289f11.png

UI 界面对比:1.3.9(上) VS. 2.0 alpha(下)

42d545d718308c70585b7c3cb9c767e1.png

7ee9eb27b8fea3b3c6f055500f963c75.png

UI 界面对比:1.3.9(上) VS. 2.0 alpha(下)

2.0 UI 重要优化在以下几个方面:

  • 优化组件显示:界面更简洁,流程显示更清晰,一目了然;

  • 突出重点内容:鼠标点击任务框,显示任务详情信息;

  • 增强可识别性:左侧工具栏标注名称,使工具更易识别,便于操作;

  • 调整组件顺序:调整组件排列顺序,更符合用户习惯。

除了性能与 UI 上的变化外,DolphinScheduler 也新增和优化了 20 多项功能

及 BUG 修复

adeacc93544d0bd5b19f9d2528607ce9.png

新功能列表

0e19cffe9379af6e629cc60a0d21e3f6.png

任务结果传递功能


新增 Switch 任务和 Pigeon 任务组件


新增环境管理功能


新增批量导入导出和批量移动功能


新增注册中心插件功能


新增任务插件功能

a7bf4f2841c4a28cd27c5752f3eb1e96.png

优化项

ccad2850176f509333f8d7f39c7e5be6.png

优化告警组功能


优化 RestApi


优化工作流版本管理


优化导入导出


优化 Worker 分组管理功能


优化 install.sh 安装脚本,简化配置过程

32f0a0995a2c3b4bed466cb3e079ccb3.png

Bug 修复

9bd9fcaf14d179908b256677204745bb.png

[#6550]DAG 任务弹出窗口中的环境列表未更新


[#6342]任务实例页面日期不显示


[#6497]Shell 任务不能正确地使

用用户定义的环境


[#6478]在补数模式下删除历史数据

的问题


[#6352]使用复制工作流功能时不能生成新的流程定义

[#5701]删除用户时,关联的访问令

牌用户未删除


[#4809]启用kerberos身份验证时

无法获取程序状态


[#4450]启用Kerberos身份验证,

Hive/Spark数据源不支持多租户

59e012e0d0e180d16f47489dc4a844b4.png

感谢贡献者

19593235ccfccb1d26356287d6b7e308.png

DolphinScheduler 2.0 alpha 的发布凝聚了众多社区贡献者的智慧和力量,是他们的积极参与和极大的热情开启了 DolphinScheduler 2.0 时代!

非常感谢 100+ 位(GitHub ID)社区小伙伴的贡献,期待更多人能够加入 DolphinScheduler 社

区共建,为打造一个更好用的大数据工作流调度平台贡献自己的力量!

5d73ca29cd1a4d5705dee37833343594.png

2.0 alpha 贡献者名单

5b78a1bcb684076671009f20bb9798cc.png

加入我们

d00510b5164125acf584cf135597b934.png

随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。

bc6e11b9a9630890eb94d87203a2b977.png

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

c37c92e2ac2ac5bc6251ef180e31b887.png

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689

进阶问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html

来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。

参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) 手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。添加小助手微信时请说明想参与贡献。

来吧,开源社区非常期待您的参与。

社区官网

https://dolphinscheduler.apache.org/

代码仓地址

https://github.com/apache/dolphinscheduler

您的 Star,是 Apache DolphinScheduler 为爱发电的动力❤️ 

添加社区小助手微信

(Leonard-ds)

05a6f8ef1dccb955364311d41e834e77.png

bdabbb12b3c70f0dc5bf602e5d98397a.png

 
 
 
 

议题征集令 | Apache DolphinScheduler Meetup 2021 来啦,议题征集正式开启!

Apache DolphinScheduler 1.3.9 发布,新增 StandaloneServer

美女亲自带你快速上手 DolphinScheduler

☞手把手教你 Apache DolphinScheduler 本地开发环境搭建 | 中英文视频教程

☞Apache DolphinScheduler使用规范与使用技巧分享

点击阅读原文,加入开源!

acb7f1329692609014d458888556d23f.png

点个在看你最好看

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DolphinScheduler社区

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值