一、Azkaban概述

azkaban由LinkedIn实现，解决了Hadoop的 Job 依赖的问题。在ETL及数据分析工作中，我们经常需要按顺序执行一些任务。

最初只是个单服务的解决方案，随着这些年来Hadoop用户的增加，阿兹卡班已经演变成为一个更可靠的解决方案。

azkaban由3个主要组成部分：

• 关系型数据库（MySQL）
• Azkaban Web Server
• Azkaban Executor Server

关系型数据库（MySQL）

阿兹卡班使用MySQL来存储它的状态。无论是Azkaban Web Server 还是 Azkaban Executor Server都是通过数据库存储。

Azkaban Web Server使用 DB做什么？

Web Server 使用数据库的原因如下：

• 项目管理 - 项目，项目的权限，以及上传的文件。
• 执行流动状态 - 存储 Executor 对 Flow 状态的跟踪。
• Flow/Job 历史记录- 搜索 Job 和 Flow 执行的历史记录以及他们的日志文件。
• Scheduler - 存储调度作业的状态。
• SLA - 存储所有SLA规则

Azkaban Executor Server使用DB做什么？

Executor Server 使用数据库的原因如下：

• 进入项目 - 从数据库中检索项目文件。
• 执行 Flow/Job - 获取并更新 Flow 执行时产生的数据
• 日志 -存储 Job 及 Flow 的日志。
• 互通的依赖 -如果流在不同的 Executor 运行时，它需要从数据库获取状态。

AzkabanWebServer

该AzkabanWebServer是阿兹卡班的 主要的管理者 。它处理项目管理，认证，调度和监控。它也可作为Web用户界面。

使用阿兹卡班是很容易。阿兹卡班使用 *.job key-value属性文件定义每个任务，并且_dependencies_属性来定义 Job 的依赖关系。这些 job 文件及相关的代码可以被压缩成一个 *.zip 文件，可以通过阿兹卡班的用户界面 或者 curl 上传。

AzkabanExecutorServer

在之前的 版本， 阿兹卡班只有一个服务，它拥有AzkabanWebServer 和 AzkabanExecutorServer的功能。现在 Executor 已经被分离成单独的服务。分离这些服务 有这几个原因 ：当 其中有 Executor 出现故障时， 我们可以迅速扩展 Executor 数量。此外，在升级阿兹卡班时，​​对用户的影响也下降到最小。由于阿兹卡班的使用量的增长，我们发现，升级阿兹卡班越来越难。