大数据--工作流程调度系统--替代传统的crontab

1. 工作流程调度系统产生背景

一个完整的数据分析系统通常都是由大量任务单元组成 :

​ shell脚本程序 , java程序 , MapReduce程序 , hive脚本等

各个任务单元之间存在时间先后依赖关系

为了更好地组织起这样的复杂执行计划 , 需要一个工作流程调度系统来调度执行

2. 工作流程调度实现方式

简单的任务调度 :

​ 直接使用linux的crontab来定义 , 但是缺点较明显 , 无法设置依赖 .

复杂的任务调度 :

​ 自主开发调度平台

​ 使用开源调度系统 , 比如azkaban , ooize , Zeus等