金秋十月 - Apache DolphinScheduler 收获 2 位新 Committer

最新推荐文章于 2024-02-28 10:19:13 发布

DolphinScheduler社区

最新推荐文章于 2024-02-28 10:19:13 发布

阅读量448

点赞数

文章标签： hadoop 分布式存储 spark kubernetes sqoop

本文链接：https://blog.csdn.net/DolphinScheduler/article/details/109882469

版权

点击上方蓝字关注 Apache DolphinScheduler

Apache DolphinScheduler(incubating)，简称”DS”, 中文名 “海豚调度”（海豚聪明、人性化，又左右脑可互相换班，终生不用睡觉）。DolphinScheduler 正在像它的名字一样，努力成为一个“开箱即用”的灵活易用的大数据任务调度系统。

金秋十月，秋风送爽，伴随着盛大的 1024 程序员节及 Apache Roadshow-China 的圆满落幕， Apache DolphinScheduler 社区也传来了好消息，经过 PPMC 们的推荐和投票，Apache DolphinScheduler 收获了2位新Committer 。他们分别是github id: yangyichao-mango 和 github id: CalvinKirs。对于成为 Committer ，2 位小伙伴说道：

yangyichao-mango：

非常荣幸能够成为 DolphinScheduler 的 Committer，从加入社区，到慢慢的学习和理解 Apache Way，过程是充满喜悦的。最后希望社区能能够快速发展，早日毕业~

CalvinKirs：

非常感谢社区的认可，在DS社区持续贡献的同时也是在跟随社区不断的成长拔节，同时，参与社区，参与开源，也让我觉得这个世界的美好和我有了那么一点点的关系。未来的日子，我将继续跟随DS一路成长。

关于个人为何要参与开源，估计有很多小伙伴还不太清晰，借用Apache Member、HBase项目主席张铎昨天在COSCon’20 & Apache Roadshow上的分享来说：

关于公司为何要参与开源，比如提升技术影响力，缩短销售路径，更容易找人才等等，这里铎神也简要分享了几点：

Apache DolphinScheduler 社区介绍：

Apache DolphinScheduler(incubator) 是一个非常多样化的社区，至今代码和文档贡献者已 150+ 名。微信群用户近 4000 人。

Apache DolphinScheduler 部分用户案例(排名不分先后)

已经有 400 多家企业和科研机构在使用 DolphinScheduler，来处理各类调度和定时任务，另有 1200 多家公司开通了海豚调度的试用：

Apache DolphinScheduler 是什么

Apache DolphinScheduler 是一个分布式去中心化，易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

Apache DolphinScheduler项目起源 - 需求决定

Apache DolphinScheduler四大特性

Apache DolphinScheduler 能力:

以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态
支持丰富的任务类型：Shell、MR、Spark、Flink、SQL(mysql、postgresql、hive、sparksql)、Python、Http、Sub_Process、Procedure等
支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
支持工作流全局参数及节点自定义参数设置
支持资源文件的在线上传/下载，管理等，支持在线文件创建、编辑
支持任务日志在线查看及滚动、在线下载日志等
实现集群HA，通过Zookeeper实现Master集群和Worker集群去中心化
支持对Master/Worker cpu load，memory，cpu在线查看
支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
支持补数
支持多租户
支持国际化

Apache DolphinScheduler 1.3.x 新特性

Worker实现重构，提升Worker性能
- Master和Worker引入Netty通信
- 去zookeeper任务队列
- Worker节点的三种选择：随机、循环和CPU和内存的线性加权负载平衡
- Worker去数据库操作
资源中心支持多目录
添加 if/else 条件任务
添加 sqoop/datax 任务
支持 k8s 部署
添加DAG流程图一键格式化
流程图美化
支持 ambari 插件安装
批量导出和导入工作流
流程定义支持复制
添加钉钉告警
大幅简化配置项，简化部署