大数据调度平台oozie、azkaban、dolphinscheduler、AirFlow对比

 Apache Oozie#

 

 

 Linkedin Azkaban

#

 

 

 Azkaban:最适合shell脚本，当job不多的时候，可以使用。

 Apache Airflow

#

 

 

 

 

 Airflow 在使用时有一大痛点：使用Python语言来定义工作流的。

 

 Apache DolphinScheduler

#

 

 特点：分布式、去中心化、易扩展的可视化工作流任务调度系统

 

 

海豚调度的多租户和我们YARN的多租户是对应起来的，这个非常好。

海豚调度出来的有点迟，它把我们之前讲的 Oozie、Azkaban、airflow的优点全拿过来了，后发优势，集万千优点于一身，缺点也避免了。

离线：用的Spark比较多，实时用 Flink比较多。

过载处理：airflow 任务过多时卡死服务器，DolphinScheduler任务队列机制，当任务过多时会缓存在任务队列中。

推荐海豚DolphinScheduler任务器~~~~