调度选得好，下班回家早

最新推荐文章于 2024-04-08 02:45:16 发布

易观

最新推荐文章于 2024-04-08 02:45:16 发布

阅读量831

点赞数

本文链接：https://blog.csdn.net/weixin_47202722/article/details/108241327

版权

Apache DolphinScheduler是一个分布式工作流任务调度系统，提供可视化DAG任务编排，广泛应用于中国平安、美团等企业。其特性包括易用的拖拽界面、丰富的任务类型、支持多租户、高可用性和扩展性，旨在解决复杂任务依赖和监控问题。

摘要由CSDN通过智能技术生成

调度选得好，下班回家早；
调度用得对，半夜安心睡。

DolphinScheduler（原EasyScheduler）是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，于2019年开源，美国时间2019年8月29日，正式通过顶级开源组织Apache基金会的投票决议，以全票通过的优秀表现正式成为了Apache孵化器项目。

DolphinScheduler社区现已近3000人，中国平安、美团、嘀嗒出行等多家企业已将 Apache DolphinScheduler 应用到了实际场景中。

01 产生背景

每天近万个调度任务，现有开源项目无法满足

在2017年，易观在运营自己6.8Pb大小、6.02亿月活、每天近万个调度任务的大数据平台时，受到ETL复杂的依赖关系、平台易用性、可维护性及二次开发等方面掣肘，易观的技术团队渴望找到一个具有以下功能的数据调度工具：

易于使用，开发人员可以通过非常简单的拖拽操作构建ETL过程。不仅对于ETL开发人员，无法编写代码的人也可以使用此工具进行ETL操作，例如系统管理员和分析师；解决“复杂任务依赖”问题，并且可以实时监视ETL运行状态；支持多租户；支持许多任务类型：Shell，MR，Spark，Flink，SQL（mysql，postgresql，hive，sparksql，clickhouse等），DataX，Sqoop，Python，Sub_Process，Procedure等；支持HA和线性可扩展性。易观技术团队意识到现有开源项目没有能够达到