Azkaban 简单介绍

1. Azkaban是什么？

   Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的Dependencies 来设置依赖关系。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。

 

2.为什么需要工作流调度系统

2.1 一个完整的数据分析系统通常都是由大量任务单元组成：

    Shell脚本程序，Java程序，MapReduce程序、Hive脚本等

2.2 各任务单元之间存在时间先后及前后依赖关系

2.3 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；

    例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：

C通过Hadoop先将原始数据上传到HDFS上（HDFS的操作）；

    • 使用MapReduce对原始数据进行清洗（MapReduce的操作）；

    • 将清洗后的数据导入到hive表中（hive的导入操作）；

    •  对Hive中多个表的数据进行JOIN处理，得到一张hive的明细表（创建中间表）；

    • 通过对明细表的统计和分析，得到结果报表信息（hive的查询操作）；

 

3. Azkaban特点

    • 兼容任何版本的hadoop

    • 易于使用的Web用户界面

    • 简单的工作流的上传

    • 方便设置任务之间的关系

    • 调度工作流

    • 模块化和可插拔的插件机制

    • 认证/授权(权限的工作)

    • 能够杀死并重新启动工作流

    • 有关失败和成功的电子邮件提醒

 

4 常见工作流调度系统

    • 简单的任务调度：直接使用crontab实现；

    • 复杂的任务调度：开发调度平台或使用现成的开源调度系统，比如ooize、azkaban等

 

5. Azkaban架构

    Azkaban在LinkedIn上实施，以解决Hadoop作业依赖问题。我们有工作需要按顺序运行，从ETL工作到数据分析产品。最初是单一服务器解决方案，随着多年来Hadoop用户数量的增加，Azkaban 已经发展成为一个更强大的解决方案。

    Azkaban由三个关键组件构成：关系型数据库（MySQL）， AzkabanWebServer， AzkabanExecutorServer

    • AzkabanWebServer：AzkabanWebServer是整个Azkaban工作流系统的主要管理者，它用户登录认证、负责project管理、定时执行工作流、跟踪工作流执行进度等一系列任务。

    • AzkabanExecutorServer：负责具体的工作流的提交、执行，它们通过mysql数据库来协调任务的执行。

    • 关系型数据库（MySQL）：存储大部分执行流状态，AzkabanWebServer和AzkabanExecutorServer都需要访问数据库。

 

6.Azkaban下载地址

    下载地址:http://azkaban.github.io/downloads.html