Azkanban基本概念

最新推荐文章于 2022-10-08 17:13:11 发布

xxydzyr

最新推荐文章于 2022-10-08 17:13:11 发布

阅读量1.1k

点赞数 1

分类专栏：从零开始Hadoop Hadoop 文章标签： Hadoop Azkanban

本文链接：https://blog.csdn.net/xxydzyr/article/details/100975884

版权

Azkaban是由LinkedIn开发的批量工作流任务调度器，提供清晰的Web UI和job配置文件来定义任务依赖。它支持command、Java、Hive、Pig和Hadoop等，适合作为小规模或大规模应用的调度解决方案。本文介绍了Azkaban的功能特点、安装部署过程，包括单机和集群模式，并给出了详细的配置和启动步骤。

摘要由CSDN通过智能技术生成

Azkanban基本概念

博客资源：

链接：https://pan.baidu.com/s/1XgXXyGdSz4T9qDXK44ypjA
提取码：n2ay
内包含Azkaban安装所需的三个tar包。

介绍

Azkaban 是由 Linkedin 公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban 使用 job 配置文件建立任务之间的依赖关系，并提供一个易于使用的 web 用户界面维护和跟踪你的工作流。

Azkaban 功能特点：

提供功能清晰，简单易用的 Web UI 界面
提供 job 配置文件快速建立任务和任务之间的依赖关系
提供模块化和可插拔的插件机制，原生支持 command、Java、Hive、Pig、Hadoop
基于 Java 开发，代码结构清晰，易于二次开发

Azkaban 安装部署

在安装前需要了解Azkaban 的组成：

$[外链图片转存失败(img-fWRzTMfP-1568774889145)(D:\学习笔记\Azkaban\01组成.jpg)]$

mysql 服务器:用于存储项目、日志或者执行计划之类的信息
web 服务器:使用 Jetty 对外提供 web 服务，使用户可以通过 web 页面方便管理
executor 服务器:负责具体的工作流的提交、执行

同时Azkaban 有两种部署方式：solo server mode 和 cluster server mode。

solo server mode(单机模式)：该模式中 webServer 和 executorServer 运行在同一个进程中，进程名是 AzkabanSingleServer。可以使用自带的 H2 数据库或者配置 mysql 数据。该模式适用于小规模的使用。
cluster server mode (集群模式)：该模式使用 MySQL 数据库，webServer 和executorServer 运行在不同进程中，该模式适用于大规模应用。

其实在单机模式中，AzkabanSingleServer 进程只是把 AzkabanWebServer 和 AzkabanExecutorServer 合到一起启动而已。

下载地址:http://azkaban.github.io/downloads.html

安装步骤

先上传安装包至Hive安装的节点，这样就可以用来执行Hive的依赖调度。

安装包有三个，一个Azkaban Web 服务器，一个Azkaban 的执行服务器，还有一个 Azkaban 的初始化sql脚本。

因为有三个文件所以我这边建了一个Azkaban的文件夹来存储。

$[外链图片转存失败(img-6pfM7cAb-1568774889147)(D:\学习笔记\Azkaban\02上传.jpg)]$
先解压Azkaban 的web服务端压缩包，就是 azkaban-web-server-2.5.0.tar.gz

命令：tar –zxvf azkaban-web-server-2.5.0.tar.gz

解压完后，我这边习惯性重命名一下：mv azkaban-web-2.5.0 server

$[外链图片转存失败(img-yAL77VCl-1568774889148)(D:\学习笔记\Azkaban\03解压服务端.jpg)]$

$[外链图片转存失败(img-ciMvsxTE-1568774889148)(D:\学习笔记\Azkaban\03重命名为server.jpg)]$
然后解压 Azkaban 的执行服务器压缩包，就是：azkaban-executor-server-2.5.0.tar.gz

命令࿱