Cris 玩转大数据系列之任务流神器 Azkaban

Cris 玩转大数据系列之任务流神器 Azkaban

Author：Cris

1. 概述

1.1 为什么需要工作流调度系统？

1）一个完整的数据分析系统通常都是由大量任务单元组成：

Shell 脚本程序，Java 程序，MapReduce 程序、Hive 脚本等

2）各任务单元之间存在时间先后及前后依赖关系

3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；

​ 例如，我们可能有这样一个需求，某个业务系统每天产生 20G 原始数据，我们每天都要对其进行处理，处理步骤如下所示：

1.   通过 `Hadoop` 先将原始数据上传到 `HDFS` 上（`HDFS` 的操作）；
   

2.   使用 `MapReduce` 对原始数据进行清洗（`MapReduce` 的操作）；
   

3.   将清洗后的数据导入到 `Hive` 表中（`Hive` 的导入操作）；
   

4.   对 `Hive` 中多个表的数据进行 `JOIN` 处理，得到一张 `Hive` 的明细表（创建中间表）；
   

5.   通过对明细表的统计和分析，得到结果报表信息（`Hive` 的查询操作）；
   

图示：

1.2 引入 Azkaban 的场景

​ 根据以上业务场景： （2）任务依赖（1）任务的结果，（3）任务依赖（2）任务的结果，（4）任务依赖（3）任务的结果，（5）任务依赖（4）任务的结果。一般的做法是，先执行完（1）再执行（2），再一次执行（3）（4）（5）。

​ 这样的话，整个的执行过程都需要人工参加，并且得盯着各任务的进度。但是我们的很多任务都是在深更半夜执行的，通过写脚本设置 crontab 执行。其实，整个过程类似于一个有向无环图（DAG）。每个子任务相当于大任务中的一个节点，也就是，我们需要的就是一个工作流的调度器，而 Azkaban 就是能解决上述问题的一个调度器。

1.3 什么是 Azkaban ？

​ Azkaban 是由 LinkedIn 公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的 key:value 对的方式，通过配置中的 dependencies 来设置依赖关系

​ Azkaban 使用 job 配置文件建立任务之间的依赖关系，并提供一个易于使用的 web 用户界面维护和跟踪你的工作流

1.4 Azkaban 的特点

1.   兼容任何版本的 `Hadoop`
   

2.   易于使用的 `Web` 用户界面
   

3.   简单的工作流的上传
   

4.   方便设置任务之间的关系
   

5.   调度工作流
   

6.   模块化和可插拔的插件机制
   

7.   认证/授权(权限的工作)
   

8.   能够杀死并重新启动工作流
   

9.   有关失败和成功的电子邮件提醒
   

1.5 常见工作流调度系统

1）简单的任务调度：直接使用 crontab 实现；

2）复杂的任务调度：开发调度平台或使用现成的开源调度系统，比如 Oozie、Azkaban 等

1.6 Oozie 和 Azkaban 特性对比

​ 下面的表格对上述四种 Hadoop 工作流调度器的关键特性进行了比较，尽管这些工作流调度器能够解决的需求场景基本一致，但在设计理念，目标用户，应用场景等方面还是存在显著的区别，在做技术选型的时候，可以提供参考

特性	Oozie	Azkaban
工作流描述语言	XML	text file with key/value pairs
是否要web容器	Yes	Yes
进度跟踪	web page	web page
Hadoop job调度支持	yes	yes
运行模式	daemon	daemon
事件通知	no	Yes
需要安装	yes	yes
支持的hadoop版本	0.20+	currently unknown
重试支持	workflownode evel	yes
运行任意命令	yes	yes

1.7 Azkaban 的架构

Azkaban由三个关键组件构成

1.   `AzkabanWebServer`：`AzkabanWebServer` 是整个 `Azkaban` 工作流系统的主要管理者，它用户登录认证、负责`project` 管理、定时执行工作流、跟踪工作流执行进度等一系列任务。
   

2.   `AzkabanExecutorServer`：负责具体的工作流的提交、执行，它们通过 `MySQL` 数据库来协调任务的执行。
   

3.   关系型数据库（`MySQL`）：存储大部分执行流状态，`AzkabanWebServer` 和 `AzkabanExecutorServer` 都需要访问数据库。
   

1.8 Azkaban 下载地址

下载地址

2. Azkaban 安装部署

2.1 安装前准备

1. 将 Azkaban Web 服务器、Azkaban 执行服务器、Azkaban的 sql 执行脚本及 MySQL 安装包拷贝到 hadoop101 虚拟机 /opt/software 目录下

   a) azkaban-web-server-2.5.0.tar.gz

   b) azkaban-executor-server-2.5.0.tar.gz

   c) azkaban-sql-script-2.5.0.tar.gz

   d) mysql-libs.zip

2. 选择 MySQL 作为 Azkaban 数据库，因为 Azkaban 建立了一些 MySQL 连接增强功能，以方便 Azkaban 设置，并增强服务可靠性

3. 备注：Cris 的 101 号机子已经安装好了 MySQL，下面演示就不再包括 MySQL 的安装~

2.2 安装 Azkaban

1. 在 /opt/module/ 目录下创建 Azkaban 目录

2. 解压 azkaban-web-server-2.5.0.tar.gz、azkaban-executor-server-2.5.0.tar.gz、azkaban-sql-script-2.5.0.tar.gz 到 /opt/module/azkaban 目录下

3. 对解压后的文件重新命名

   mv azkaban-web-2.5.0/ server
   mv azkaban-executor-2.5.0/ executor
   

   完成后的效果图如下：

   

4. Azkaban 脚本导入

   进入 MySQL，创建 Azkaban 数据库，并将解压的脚本导入到 Azkaban 数据库

   mysql -uroot -p[password]
   mysql> create database azkaban;
   mysql> use azkaban;
   mysql> source /opt/module/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql
   

   注：source 后跟 .sql 文件，用于批量处理 .sql 文件中的 sql 语句

2.3 生成密钥库

Keytool 是 Java 数据证书的管理工具，使用户能够管理自己的公/私钥对及相关证书

-keystore 指定密钥库的名称及位置(产生的各类信息将在.keystore文件中)

-genkey 在用户主目录中创建一个默认文件".keystore"

-alias 对我们生成的.keystore 进行指认别名；如果没有默认是mykey

-keyalg 指定密钥的算法 RSA/DSA 默认是DSA

1. 生成 keystore 的密码及相应信息的密钥库

   [cris@hadoop101 azkaban]$ keytool -keystore keystore -alias jetty -genkey -keyalg RSA
   输入密钥库口令:  
   再次输入新口令: 
   您的名字与姓氏是什么?
     [Unknown]:  
   您的组织单位名称是什么?
     [Unknown]:  
   您的组织名称是什么?
     [Unknown]:  
   您所在的城市或区域名称是什么?
     [Unknown]:  
   您所在的省/市/自治区名称是什么?
     [Unknown]:  
   该单位的双字母国家/地区代码是什么?
     [Unknown]:  
   CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=Unknown是否正确?
     [否]:  y
   
   输入 <jetty> 的密钥口令
           (如果和密钥库口令相同, 按回车):  
   再次输入新口令:
   

   注意：

   密钥库的密码至少必须6个字符，可以是纯数字或者字母或者数字和字母的组合等等

   密钥库的密码最好和 的密钥相同，方便记忆

2. 将 keystore 拷贝到 Azkaban web 服务器根目录中

   [cris@hadoop101 azkaban]$ mv keystore /opt/module/azkaban/server/
   

2.4 时间同步配置

​ 这里详情请参考 Cris 之前的 Linux 笔记，不再赘述，只需要保持三个集群的时间一致即可

2.5 配置文件修改

one、Web服务器配置

1. 进入 Azkaban web 服务器安装目录 conf 目录，打开 azkaban.properties 文件

   

   

   

   

   

2. web服务器用户配置

   在 Azkaban web 服务器安装目录 conf 目录，按照如下配置修改 azkaban-users.xml 文件，增加管理员用户

   vim azkaban-users.xm
   

   

two、执行服务器配置

1. 进入执行服务器安装目录 conf，打开 azkaban.properties

   [cris@hadoop101 conf]$ pwd
   /opt/module/azkaban/executor/conf
   [cris@hadoop101 conf]$ vim azkaban.properties
   

2. 按照如下配置修改 azkaban.properties 文件

   

2.6 启动executor服务器

在executor服务器目录下执行启动命令

[cris@hadoop101 executor]$ bin/azkaban-executor-start.sh

2.7 启动web服务器

在 Azkaban web 服务器目录下执行启动命令

[cris@hadoop101 server]$ bin/azkaban-web-start.sh

注意：
先执行executor，再执行web，避免Web Server会因为找不到执行器启动失败

2.8 群起/群关脚本（推荐）

先配置环境变量

sudo vim /etc/profile

记得

source /etc/profile

然后开始写脚本

接着使用群起脚本打开 Azkaban，浏览器访问 https://服务器IP地址:8443，即可访问 Azkaban 服务了

3. Azkaban实战

3.1 MapReduce 任务

​ 在 Azkaban 的主目录下新建 jobs 文件夹，然后新建一个 wordcount.job（必须要以 .job 结尾，并且这里的 MapReduce 其实就是一个 Hadoop 官方的 wordcount 程序 ）

​ 然后压缩成为 .zip 文件

zip wordcount.zip wordcount.job

​ 将压缩文件拷贝到桌面（推荐使用 sz 指令，需要先安装 lrzsz 插件，如何安装自行百度）

然后上传压缩包到 Azkaban 的 web 管理界面

• 创建 project

• 上传 zip 包

• 执行

执行结果如下：

3.2 Java 任务

使用 Azkaban 调度 Java 程序

1. 编写一个最简单的 Java 程序

   /**
    * 模拟一个简单的 Java 程序让 Azkaban 执行
    *
    * @author zc-cris
    * @version 1.0
    **/
   public class AzkabanTest {
   
       public static void main(String[] args) {
           try (FileOutputStream fileOutputStream = new FileOutputStream(args[0])) {
               fileOutputStream.write("this is java job of Azkaban".getBytes());
           } catch (IOException e) {
               e.printStackTrace();
           }
       }
   }
   

2. 将 Java 程序打成 jar 包，创建 libs 目录，将 jar 放入 libs 内

   

3. 编写 job 文件

   

   具体的参数请参考官网

4. 打包并上传至 Azkaban 服务器，同上，这里不再赘述

5. 结果如下

   

   3.3 HDFS 任务以及任务执行邮箱提示

   发件人信息在前面的 web 服务器配置时已经配好了，接下来配置收件人信息~

   

   也可以单独为每一个 job 配置收件人的邮箱信息，请参考

   配置信息如下

   

   然后写我们的 HDFS 任务，及其简单

   # first hdfs job
   type=command
   command=hadoop fs -mkdir /azkaban
   

   然后打包上传执行同前面一模一样，这里不再赘述

   查看执行后的结果

   

   最重要的是查看我们的信箱

   

3.3 Hive 依赖脚本任务（重要）

任务一：上传本地文件到 HDFS

将 Linux 上的文件上传到 HDFS 上的 azkaban 目录下

在 jobs 路径下编写一号任务

任务二：Hive 建表

先写建表脚本

然后写二号任务

任务三：Hive 查询

合并压缩

zip recursivejobs.zip 01put.job 02createtable.job 03select.job email.properties

Azkaban 执行任务


4. 总结

​ 和 Oozie 相比，个人更加喜欢 Azkaban，友好现代化的操作界面，方便的任务执行并支持多种任务类型，邮箱提示，方便的任务规划，完善的权限管理等等等，都让我对 Azkaban 爱不释手。

​ 如果可以的话，建议大家都可以试试 Azkaban，方便，强大，高效，美观 ?，?，?，:happy:

​ 本篇笔记只是对 Azkaban 做了一个常用但是不够完善的操作记录，感兴趣的还可以参考这几篇非常不错的博客

https://www.cnblogs.com/zlslch/category/938837.html

https://blog.csdn.net/clypm/article/details/79076801

https://blog.csdn.net/gaoqida/article/details/52165204