DolphinScheduler对比Airflow

DolphinSchedulerAirFlow
稳定性单点故障去中心化的多Master和多Worke是(单一调度程序)
HA额外要求不需要(本身就支持HA)Celery / Dask / Mesos + Load Balancer + DB
过载处理任务队列机制,单个机器上可调度的任务数量可以灵活配置,当任务过多时会缓存在任务队列中,不会造成机器卡死任务太多时会卡死服务器
易用性DAG监控界面任务状态、任务类型、重试次数、任务运行机器、可视化变量等关键信息一目了然不能直观区分任务类型
可视化流程定义是(所有流程定义操作都是可视化的,通过拖拽任务来绘制DAG,配置数据源及资源。同时对于第三方系统,提供api方式的操作)否(通过python代码来绘制DAG,使用不便,特别是对不会写代码的业务人员基本无法使用)
快速部署一键部署集群化部署复杂
功能是否能暂停和恢复支持暂停(非真暂停),恢复操作否(只能先将工作流杀死再重新运行)
是否支持多租户支持(DolphinScheduler上的用户可以通过租户和hadoop用户实现多对一或一对一的映射关系,这对大数据作业的调度是非常重要的)否(只支持多用户)
任务类型支持传统的shell任务,同时支持大数据平台任务调度: MR、Spark、SQL(mysql、postgresql、hive、sparksql)、Python、Procedure、Sub_ProcessBashOperator、DummyOperator、MySqlOperator、HiveOperator、EmailOperator、HTTPOperator、SqlOperator
契合度支持大数据作业spark,hive,mr的调度,同时由于支持多租户,与大数据业务更加契合由于不支持多租户,在大数据平台业务使用不够灵活
任务重跑支持失败任务重跑,但是不能指定从任意一个任务开始重跑可以指定从任意一个任务节点开始重跑
跳过某些任务/运行节点
跨项目依赖
项目内依赖是(在一个项目中前驱依赖可以指定不同工作流中任意一个任务,后继依赖可以指定一整个工作流,但是无法指定其他工作流中的任意一个任务)是(将DAG定义在一个脚本中)
扩展性是否支持自定义任务类型
是否支持集群扩展是(调度器使用分布式调度,整体的调度能力会随便集群的规模线性增长,Master和Worker支持动态上下线)是(但是Executor水平扩展复杂)
监控告警服务状态监控
告警类型自带邮件告警,支持分组监控告警不自带告警
系统版本系统版本要求均7.0以上暂无
任务迁移支持任务迁移/Copy
支持组件命令支持Python命令
支持Hive-SQL命令
支持Shell命令
支持Http命令
支持Sqoop命令
支持Spark命令
支持Flink命令
支持MR命令
支持Datax命令
支持Hadoop命令
  • 2
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值