Hadoop离线_azkaban的介绍

---

1.工作流调度系统的作用

一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序 ，java程序，mapreduce程序、hive脚本等。
各任务单元之间存在时间先后及前后依赖关系，为了很好地组织起这样的复杂执行计划，这时就需要一个工作流调度系统来调度执行
举例来说：
某个业务系统每天产生20G原始数据，需要每天都要对其进行处理，处理步骤如下所示：
1.通过Hadoop先将原始数据同步到HDFS上；
2.借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；
3.需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；
4.将明细数据进行各种统计分析，得到结果报表信息；
5.需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。

2.工作流调度系统的实现

简单的任务调度可以直接使用linux的crontab实现
复杂的任务调度则需要开源调度系统，比如oozie、azkaban、airflow等

3.常见工作流调度工具对比

4.Azkaban简单介绍

详细介绍参考官网：https://azkaban.github.io/
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。它定义了一种KV文件(properties)格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。
功能特点：
Web用户界面，方便上传工作流，方便设置任务之间的关系，调度工作流，认证/授权(权限的工作)，能够杀死并重新启动工作流，模块化和可插拔的插件机制，项目工作区，工作流和任务的日志记录和审计