工作流调度器azkaban

目录

2.1 概述

2.1.1为什么需要工作流调度系统

2.1.2 工作流调度实现方式

2.1.3 常见工作流调度系统

2.1.4 各种调度工具特性对比

2.1.5 Azkaban与Oozie对比

2.2 Azkaban介绍

2. 3 Azkaban安装部署

准备工作

安装

azkaban web服务器安装

azkaban 执行服器安装

修改文件属性以及配置环境变量

创建SSL配置

配置文件

启动

问题

验证 

---

2.1 概述

2.1.1为什么需要工作流调度系统

1. 一个完整的数据分析系统通常都是由大量任务单元组成：

         shell脚本程序，java程序，mapreduce程序、hive脚本等

1. 各任务单元之间存在时间先后及前后依赖关系
2. 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；

 

例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：

1. 通过Hadoop先将原始数据同步到HDFS上；
2. 借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；
3. 需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；
4. 将明细数据进行复杂的统计分析，得到结果报表信息；
5. 需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。

 

 

2.1.2 工作流调度实现方式

简单的任务调度：直接使用linux的crontab来定义；

复杂的任务调度：开发调度平台

或使用现成的开源调度系统，比如ooize、azkaban等

 

 

2.1.3 常见工作流调度系统

市面上目前有许多工作流调度器

在hadoop领域，常见的工作流调度器有Oozie, Azkaban,Cascading,Hamake等

 

 

 

2.1.4 各种调度工具特性对比

下面的表格对上述四种hadoop工作流调度器的关键特性进行了比较，尽管这些工作流调度器能够解决的需求场景基本一致，但在设计理念，目标用户，应用场景等方面还是存在显著的区别，在做技术选型的时候，可以提供参考

特性	Hamake	Oozie	Azkaban	Cascading
工作流描述语言	XML	XML (xPDL based)	text file with key/value pairs	Java API
依赖机制	data-driven	explicit	explicit	explicit
是否要web容器	No	Yes	Yes	No
进度跟踪	console/log messages	web page	web page	Java API
Hadoop job调度支持	no	yes