你要的调度云原生能力来了

数据中台是当今大数据领域最火的一个概念,各个公司也竞相建设企业自己的大数据中台,而在这样的背景下,数据任务调度作为其中最核心的一个基础设施可谓十分重要。一个好的调度系统既可以负载传统数据仓库的任务处理流程,又可以承载实时流处理,甚至一些数据挖掘流程处理都可以调度上实现,大大减少业务开发难度,实现业务解耦合。调度系统周边还有元数据管理、数据质量稽核、数据血缘关系等等设施与之配合,调度生态系统的完善度对数据中台建设成功与否举足轻重。

开源的Apache DolphinScheduler(原EasyScheduler)自2017年在易观公司立项之初,就带着致力于“数据能力平民化”的使命。其实在开发EasyScheduler之前,易观已经调研过市面上主流的开源调度系统(网上有相关的调度系统对比介绍)。在开源之后,怎么使得调度更加易用一直是社区思考的问题,天生注重分布式、高可用的一个系统在部署上就比较费劲,开源也已经1年多了,社区一直持续的在做各种尝试,最近仍然在考虑和实现简化配置,减少新手上手难度,相信这个工作也一直会进行,直到一个懂一点点技术的小伙伴可以在10分钟内部署一套分布式集群为止。

进入Apache孵化后,社区力量得以更多的发挥,DolphinScheduler从开源前的几个coding小伙伴已经成长为目前的近200位社区贡献者,贡献范围涵盖提交代码、写文档/文章、发issue/邮件、社区答疑等,也已经有数百家公司在使用DolphinScheduler,并且明显的有越来越多的小伙伴在加入到社区贡献队伍。我想“ 21世纪最重要的是什么 - 人才”这句话在技术开源领域换成”21世纪最重要的是什么 - 社区“更合适。相信大家已经注意到了,近2年开源社区在技术创新领域蓬勃发展,尤其是在国内本土发展的非常快。越来越多的项目选择开源,而开源的核心要素是发展社区。DolphinScheduler是非常重视社区的一个Apache项目,早在设计架构和功能时就邀请了国内近60位调度圈的大神做指导,开源前还花了2个月时间邀请过十几家公司作为内部种子用户进行评测,又经过重构后才正式对外开源。可以说自始至今DolphinScheduler的巨大发展从来没有离开过社区伙伴们的鼎力贡献。<此段给想做项目开源的伙伴当一个参考>

回归正题,社区伙伴木子近期又为DolphinScheduler带来了云原生能力,给大家透露一下木子同学在阿里云上 k8s 一键部署小视频:

云原生能力的支持将为简化部署夯实坚定的一步,经过一段时间测试后,将正式在新版本中发布,当然也欢迎大家尝鲜,一起来测试,社区嘛

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DolphinScheduler社区

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值