点亮 ⭐️ Star · 照亮开源之路
GitHub:https://github.com/apache/dolphinscheduler
夏日炎炎,高温可能会影响我们的食欲或者上班的心情,但却挡不住社区小伙伴的贡献热情。最近,社区又迎来了一批新的 Contributor,朱学通 同学就是其中一位。
1
个人简介
朱学通
伊利集团大数据开发
Github: zhuxt2015
擅长领域: 大数据平台研发 、数据ETL、数据分析
年限: 大数据7年
兴趣爱好: 跑步、游泳、参与开源
朱学通不仅是一名 大数据研发领域的“老兵”,他从事大数据平台研发、数据ETL、数据分析 7 年多的时间,同时他还是开源爱好者,从参与大数据相关工作时就开始和开源打交道。但是直到 2022 年,他才第一次提交 PR,从此开始了他的开源之路。
2
调研与二开
朱学通与 Apache DolphinScheduler 初次结缘是在伊利集团做调度系统调研时。当时他先后调研过Airflow、Kettle 等调度工具,但发现 Apache DolphinScheduler 与其相比,架构更合理, 使用更人性化, 社区也比较活跃,“尤其是中国团队贡献的开源项目, 更要支持,”朱学通说到。
2019 年开始,伊利集团开始使用 Apache DolphinScheduler,主要使用场景是用于 Sqoop 脚本和 shell 脚本的调度。
这是伊利集团这家传统型企业在尝试数字化改革过程中的一次成功的尝试,Apache DolphinScheduler 帮助公司解决了问题。为了更好地满足业务场景需求,朱学通还基于 Apache DolphinScheduler 进行了二次开发,主要针对 DataX 界面进行优化, 支持更多的数据源, 以及优化配置。
3
贡献统计
朱学通本人也开始不断为项目做贡献,不完全统计:
01
已经合并的
1) Apache DolphinScheduler 对开启 kerberos hive 数据源的支持
2) kerberos 中当 renew_life 过期时, 重新获取 token
3) 复制出来的工作流的创建时间和更新时间使用当前时间,而不是原来的时间。
4) SQL task 和 datax task 的错误栈信息输出到 log 中
5) 支持上线的工作流的 copy 和 export
6) 依据优先级容错工作流
02
未合并的
1) 复制的 task 名字不带 copy 后缀
2) 日志文件过大, 分段传输; 一行日志内容过长时, 只截取部分显示
3) 复制的工作流和 task 的名字只替换时间戳, 不追加 copy
4) 删除工作流失败时,刷新工作流列表
5) SQL task 支持在 sql 任意位置定义变量
03
已有 issue 未提交 PR
依据已有的定时任务, 推荐新建的定时任务时间, 防止任务集中定时启动。
04
计划提交 issue
移除zookeeper依赖
4
对社区的话
01
社区初印象
社区活跃, 各位 PMC 和 committer 也比较热情, 有什么问题都及时回答, 经常和大家一起讨论方案,还会定期组织周会。
02
调度系统关键需求
能够支持准时、高效地运行定时任务、支持在线编辑任务、支持配置任务依赖关系, 而这些关键需求 Apache 都能够满足。未来,期待能移除 Zookeeper 的依赖, 我也会参与这部分工作。
03
对社区的期待
希望能够提升调度相关的技术能力, 社区能够多多指点我,让我将来有机会能够成为 Apache DolphinScheduler 的 committer。
参与贡献
随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。
参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:
贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。
社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689
非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22
如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html
来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。
参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。
添加小助手微信时请说明想参与贡献。
来吧,开源社区非常期待您的参与。
< 🐬🐬 >
更多精彩推荐
☞Apache DolphinScheduler 再登 GitHub Trending 周榜,成本周最让人兴奋的开源项目之一!
☞自动更新选股模型,实时监控,基于 Apache DolphinSchedule 打造机器学习智能选股系统
☞开源大数据 Studio 应用开发: Apache Dolphinscheduler + Notebook
☞当 Apache DolphinScheduler 遇上 MLOps,机器学习模型部署到生产环境更快、更安全
☞日均 6000+ 实例,TB 级数据流量,Apache DolphinScheduler 如何做联通医疗大数据平台的“顶梁柱”?
我知道你在看哟