【构建PB级准实时分析引擎】 -- azkaban、airflow、dolphinscheduler、quartz、xxl-job 、oozie调度方案评测

评测说明

  本评测方案主要从自身实用的角度出发，对比主流的开源任务调度方案，评选出最适合自己的方案，以作为自己的调度工具。

评测目标

短期目标

• 可调度多台机器的shell/python脚本；
• 可管理有依赖的任务执行；
• 支持mysql/postgresql数据库；
• 支持接口管理任务(定时，取消定时)；

中长期目标

• 任务运行状态和完成状态容易获得；
• 支持秒级调度；
• 支持任务分片；
• 支持任务可视化；
• Hadoop,Spark生态支持；

选型范围

软件	理由
dolphinscheduler	文档齐全，社区活跃。
xxl-job	应用广泛，支持多种调度方式。
azkaban	任务调度应用广泛。
airflow	调度新秀，人性化操作。
quartz	被大多数调度方案引用。
oozie	老牌大数据调度方案，在中大型企业中被广泛使用。

评测环境

服务器环境