DolphinScheduler、Azkaban、Airflow 比较

 

DolphinScheduler

Azkaban

Airflow

稳定性

单点故障去中心化的多Master和多Worker
单个Web和调度程序组合节点

单一调度程序
HA额外要求不需要(本身就支持HA)DBCelery / Dask / Mesos + Load Balancer + DB
过载处理任务队列机制,单个机器上可调度的任务数量可以灵活配置,当任务过多时会缓存在任务队列中,不会造成机器卡死任务太多时会卡死服务器任务太多时会卡死服务器

易用性

DAG监控界面任务状态、任务类型、重试次数、任务运行机器、可视化变量等关键信息一目了然只能看到任务状态不能直观区分任务类型
可视化流程定义
所有流程定义操作都是可视化的,通过拖拽任务来绘制DAG,配置数据源及资源。同时对于第三方系统,提供api方式的操作。

通过自定义DSL绘制DAG并打包上传

通过python代码来绘制DAG,使用不便,特别是对不会写代码的业务人员基本无法使用。
快速部署一键部署集群化部署复杂集群化部署复杂

功能

是否能暂停和恢复支持暂停,恢复操作
只能先将工作流杀死再重新运行

只能先将工作流杀死再重新运行
是否支持多租户支持
easyscheduler上的用户可以通过租户和hadoop用户实现多对一或一对一的映射关系,这对大数据作业的调度是非常重要的。
任务类型支持传统的shell任务,同时支持大数据平台任务调度: MR、Spark、SQL(mysql、postgresql、hive、sparksql)、Python、Procedure、Sub_Processshell、gobblin、hadoopJava、java、hive、pig、spark、hdfsToTeradata、teradataToHdfsBashOperator、DummyOperator、MySqlOperator、HiveOperator、EmailOperator、HTTPOperator、SqlOperator
契合度支持大数据作业spark,hive,mr的调度,同时由于支持多租户,与大数据业务更加契合由于不支持多租户,在大数据平台业务使用不够灵活由于不支持多租户,在大数据平台业务使用不够灵活

扩展性

是否支持自定义任务类型
是否支持集群扩展
调度器使用分布式调度,整体的调度能力会随便集群的规模线性增长,Master和Worker支持动态上下线
是,但是复杂
Executor水平扩展
是,但是复杂
Executor水平扩展

 

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
### 回答1: DolphinSchedulerAzkaban 都是一些常用的开源任务调度系统,被广泛应用于数据处理和数据工作流的场景中。DolphinScheduler 是一款支持分布式、高可靠、易扩展的 DAG 工作流任务调度系统,可以管理和调度数据处理作业、机器学习等各类任务;而 Azkaban 是一款易于使用和部署的可视化任务调度系统,支持离线和实时任务的调度,用户可以通过简单的操作管理和运行任务。两者都有各自的优势和适用场景,具体选择取决于业务需求和技术栈。 ### 回答2: DolphinSchedulerAzkaban都是开源的分布式任务调度系统,可以实现大规模任务的调度和管理。 DolphinScheduler是由中国华为、奇虎360、中国电信等公司一起推出的,是一款国内比较新的开源调度系统。它支持多种调度模式,包括常规的定时调度、依赖调度、手动调度等,同时具备流程调度的能力。此外,DolphinScheduler还提供了丰富的告警机制和监控报表功能,方便用户对任务执行情况进行实时监控和运营分析。 相比之下,Azkaban虽然是国外较为早期的分布式调度系统之一,但是它仍然具有广泛的应用基础。Azkaban也支持多种调度方式,支持直接编写shell或python脚本,可以通过Web界面直接上传调度脚本,简单易用。除此之外,Azkaban还有一个比较重要的特性,即支持流程的可视化编辑和调度,便于用户管理复杂任务流程和依赖关系。 总体而言,DolphinSchedulerAzkaban都可以实现分布式任务调度的基本能力,但是在使用过程中还需根据用户具体需求进行综合比较,从而选择适合自己的调度工具。 ### 回答3: DolphinSchedulerAzkaban都是流行的开源任务调度平台,用于管理和调度大型任务,两者都具有一些相似之处,如支持复杂的任务调度和管理,具有良好的可扩展性和可定制性等等。但是,还有一些不同之处: 首先,DolphinScheduler对于高复杂度任务调度和数据处理场景,具有较好的支持,其面向数据湖,支持多租户、多数据源和Elasticsearch等特性,可以支持从数据采集开始,到处理、计算、分析和展示等整个链路。而Azkaban面向的主要是一些分布式的离线处理任务,比如一些Hadoop部署的任务。 其次,两者在架构设计和实现上也有所不同。DolphinScheduler采用了DAG模型和流程编排技术,可以方便地实现复杂任务的调度和监控,而Azkaban则主要采用工作流和任务的方式来进行实现。 另外,两者的社区生态环境和用户群体也不同。DolphinScheduler在国内得到了很多用户的青睐,很多大中型企业和高校都在使用,拥有庞大的生态,社区活跃,有很多完善的文档和资源可供使用,而Azkaban则主要是在美国的大型互联网公司中使用较多,社区相对较小。 综上所述,DolphinSchedulerAzkaban都是优秀的开源任务调度平台,选择哪个需要根据实际情况来进行判断。如果需要管理和调度复杂的任务,建议选择DolphinScheduler,如果比较注重工作流程和任务的调度,可以使用Azkaban

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值