Apache DolphinScheduler 1.2.1发布，可视化工作流任务调度系统

最新推荐文章于 2024-02-28 10:25:50 发布

代立冬

最新推荐文章于 2024-02-28 10:25:50 发布

阅读量4.8k

点赞数 3

分类专栏：大数据实战系列

本文链接：https://blog.csdn.net/oDaiLiDong/article/details/104495034

版权

12 篇文章 16 订阅

订阅专栏

Apache DolphinScheduler 于2020年2月24日正式发布 1.2.1 版，发布内容如下：

新特性：

增强：

Bug 修复：

近期社区也收到了来自社区贡献者的诸多新特性贡献，比如 DataX ， Sqoop 数据同步、条件判断任务类型; DolphinScheduler 的 Ambari 插件化部署等等新功能，预计不久后就会发布。

DolphinScheduler设计特点:

Apache DolphinScheduler 是一个分布式去中心化，易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态
支持丰富的任务类型：Shell、MR、Spark、Flink、SQL(mysql、postgresql、hive、sparksql)、Python、Http、Sub_Process、Procedure等
支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
支持工作流全局参数及节点自定义参数设置
支持资源文件的在线上传/下载，管理等，支持在线文件创建、编辑
支持任务日志在线查看及滚动、在线下载日志等
实现集群HA，通过Zookeeper实现Master集群和Worker集群去中心化
支持对Master/Worker cpu load，memory，cpu在线查看
支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
支持补数
支持多租户
支持国际化

系统部分截图

在用公司(部分统计，Wanted: who's using DolphinScheduler)

已经有大量知名企业和科研机构在使用 Apache DolphinScheduler，来处理各类调度和定时任务：

加入 Apache DolphinScheduler

在使用 DolphinScheduler 的过程中，如果您有任何问题或者想法、建议，都可以通过Apache 邮件列表参与到 DolphinScheduler 的社区建设中来。

发送订阅邮件也非常简单，步骤如下:

1. 用自己的邮箱向 dev-subscribe@dolphinscheduler.apache.org 发送一封邮件，主题和内容任意。

2. 接收确认邮件并回复。完成步骤1后，您将收到一封来自dev-help@dolphinscheduler.apache.org 的确认邮件（如未收到，请确认邮件是否被自动归入垃圾邮件、推广邮件、订阅邮件等文件夹）。然后直接回复该邮件，或点击邮件里的链接快捷回复即可，主题和内容任意。

接收欢迎邮件。完成以上步骤后，您会收到一封主题为WELCOME to dev@dolphinscheduler.apache.org的欢迎邮件，至此您已成功订阅Apache DolphinScheduler（Incubating）的邮件列表。

强烈推荐订阅开发邮件列表，与社区保持最新信息同步，这一点非常重要。

代立冬

关注