Apache DolphinScheduler对比Azkaban、Airflow

 

DolphinScheduler

Azkaban

Airflow

稳定性

   
单点故障去中心化的多Master和多Worker
单个Web和调度程序组合节点

单一调度程序
HA额外要求不需要(本身就支持HA)DBCelery / Dask / Mesos + Load Balancer + DB
过载处理任务队列机制,单个机器上可调度的任务数量可以灵活配置,当任务过多时会缓存在任务队列中,不会造成机器卡死任务太多时会卡死服务器任务太多时会卡死服务器

易用性

   
DAG监控界面任务状态、任务类型、重试次数、任务运行机器、可视化变量等关键信息一目了然只能看到任务状态不能直观区分任务类型
可视化流程定义
所有流程定义操作都是可视化的,通过拖拽任务来绘制DAG,配置数据源及资源。同时对于第三方系统,提供api方式的操作。

通过自定义DSL绘制DAG并打包上传

通过python代码来绘制DAG,使用不便,特别是对不会写代码的业务人员基本无法使用。
快速部署一键部署集群化部署复杂集群化部署复杂

功能

   
是否能暂停和恢复支持暂停,恢复操作
只能先将工作流杀死再重新运行

只能先将工作流杀死再重新运行
是否支持多租户支持
easyscheduler上的用户可以通过租户和hadoop用户实现多对一或一对一的映射关系,这对大数据作业的调度是非常重要的。
任务类型支持传统的shell任务,同时支持大数据平台任务调度: MR、Spark、SQL(mysql、postgresql、hive、sparksql)、Python、Procedure、Sub_Processshell、gobblin、hadoopJava、java、hive、pig、spark、hdfsToTeradata、teradataToHdfsBashOperator、DummyOperator、MySqlOperator、HiveOperator、EmailOperator、HTTPOperator、SqlOperator
 契合度支持大数据作业spark,hive,mr的调度,同时由于支持多租户,与大数据业务更加契合由于不支持多租户,在大数据平台业务使用不够灵活由于不支持多租户,在大数据平台业务使用不够灵活

扩展性

   
是否支持自定义任务类型
是否支持集群扩展
调度器使用分布式调度,整体的调度能力会随便集群的规模线性增长,Master和Worker支持动态上下线
是,但是复杂
Executor水平扩展
是,但是复杂
Executor水平扩展
### 不同工作流管理系统特性对比 #### Apache Airflow 特性 Apache Airflow 是一个开源的工作流编排平台,允许定义、调度监控复杂的数据管道。Airflow 使用 Python 编写的 DAG (Directed Acyclic Graphs) 来表示任务流程,并支持多种执行环境,包括本地机器、Kubernetes 集群以及云服务提供商。 - **灵活性**: 支持复杂的依赖关系管理动态构建DAG[^2]. - **社区活跃度**: 拥有一个庞大而活跃的开发者社区. - **扩展能力**: 提供丰富的插件机制以便集成第三方工具服务. ```python from airflow import DAG from datetime import timedelta import pendulum default_args = { 'owner': 'airflow', 'depends_on_past': False, } dag = DAG( dag_id='example_dag', default_args=default_args, schedule_interval=timedelta(days=1), start_date=pendulum.datetime(2023, 1, 1)) ``` #### Azkaban 特性 Azkaban 是由 LinkedIn 开发并开源的一个批处理作业调度系统,主要用于解决 Hadoop 作业间的依赖问题。它通过图形界面让用户可以轻松配置管理多个相互关联的任务链路。 - **易用性**: Web UI 友好,适合不具备编程背景的操作人员使用. - **稳定性**: 经过大规模生产验证,在LinkedIn内部得到广泛应用发展. - **专属性能优化**: 对于MapReduce Pig Latin 类型的大数据处理任务进行了特别优化[^1]. #### DolphinScheduler 特性 DolphinScheduler 是一款企业级分布式定时任务调度框架,具有高可用性可视化操作的特点。其设计目标是为了满足企业在日常运营过程中对于各类异构计算资源的有效利用需求。 - **多租户架构**: 支持不同部门或团队在同一平台上独立创建维护自己的项目空间. - **安全性保障**: 内置权限管理体系确保敏感信息的安全访问控制. - **跨集群协作**: 能够协调分布在不同物理位置上的计算节点共同完成大型工作任务. | 功能模块 | Airflow | Azkaban | DolphinScheduler | | --- | --- | --- | --- | | 用户界面友好程度 | 中等 | 较好 | 极佳 | | 社区支持力度 | 大量贡献者参与开发 | 原厂持续更新迭代 | 积极响应用户反馈 | | 数据源连接种类 | 广泛兼容各种数据库/存储方案 | 主要面向HDFS/Hive/MR场景 | 支持更多类型的外部接口 |
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值