基于Hadoop-2.7.7、MySQL-5.7的Azkaban 2.5.0 安装文档

Azkaban2.5.0 安装

一、Azkaban 运行模式

Azkaban 有三个重要组件：

1. 关系型数据库（目前仅支持MySQL）
2. Web管理服务器－Azkaban Web Server
3. 执行服务器－Azkaban Executor Server

Azkaban有三种运行模式：

1. solo server mode：单机模式，数据库内置的H2数据库，管理服务器和执行服务器都在一个进程中运行，任务量不大的项目可以采用此模式。
   2 two server mode：数据库为 MySQL，管理服务器和执行服务器在不同进程，这种模式下，管理服务器和执行服务器互不影响。
   3 multiple executor mode：该模式下，执行服务器和管理服务器在不同主机上，且执行服务器可以有多个。

在这里我们使用第二种模式，管理服务器、执行服务器分进程，但在同一台主机上。

二、Azkaban2.5.0 安装详解

将安装文件上传到集群,最好上传到安装 Hive、Sqoop 的机器上,方便命令的执行。并最好放在同一个安装目录下,用于存放源安装文件。

2.1 下载安装包

下载地址： http://azkaban.github.io/downloads.html
版本号：
Azkaban Excutor 执行服务器：azkaban-executor-server-2.5.0.tar.gz
Azkaban Web 服务器：azkaban-web-server-2.5.0.tar.gz
Azkaban 初始化脚本文件：azkaban-sql-script-2.5.0.tar.gz

2.2 上传并解压

将 Azkaban 安装包上传到 Linux 服务器上，解压到相应目录下：

[yao@master ~]$ mkdir azkaban-2.5.0
//将安装包放在azkaban-2.5.0的目录下
[yao@master ~]$ mv azkaban-executor-server-2.5.0.tar.gz azkaban-2.5.0/
[yao@master ~]$ mv azkaban-sql-script-2.5.0.tar.gz  azkaban-2.5.0/
[yao@master ~]$ mv azkaban-web-server-2.5.0.tar.gz azkaban-2.5.0/
[yao@master ~]$ cd azkaban-2.5.0/
//解压安装包
[yao@master azkaban-2.5.0]$ tar -zxvf azkaban-sql-script-2.5.0.tar.gz 
[yao@master azkaban-2.5.0]$ tar -zxvf azkaban-web-server-2.5.0.tar.gz 
[yao@master azkaban-2.5.0]$ tar -zxvf azkaban-executor-server-2.5.0.tar.gz 

2.3 创建 Azkaban数据库

//用hadoop用户登录mysql
[yao@master azkaban-2.5.0]$ mysql -uhadoop -phadoop
//为Azkaban创建数据库，其中数据库名字不一定是azkaban
mysql> create database azkaban;
Query OK, 1 row affected (0.00 sec)

2.4 将azkaban sql表结构导入MySQL

[yao@master ~]$ cd azkaban-2.5.0/azkaban-2.5.0/
[yao@master azkaban-2.5.0]$ ls
create.active_executing_flows.sql  create.projects.sql
create.active_sla.sql              create.project_versions.sql
create-all-sql-2.5.0.sql           create.properties.sql
create.execution_flows.sql         create.schedules.sql
create.execution_jobs.sql          create.triggers.sql
create.execution_logs.sql          database.properties
create.project_events.sql          update-all-sql-2.1.sql
create.project_files.sql           update-all-sql-2.2.sql
create.project_flows.sql           update.execution_logs.2.1.sql
create.project_permissions.sql     update.project_properties.2.1.sql
create.project_properties.sql
[yao@master azkaban-2.5.0]$ pwd
/home/yao/azkaban-2.5.0/azkaban-2.5.0

mysql> use azkaban;
Database changed
//执行这个脚本
mysql> source /home/yao/azkaban-2.5.0/azkaban-2.5.0/create-all-sql-2.5.0.sql;
//至此,mysql就有了azkaban sql的表结构
mysql> show tables;
+------------------------+
| Tables_in_azkaban      |
+------------------------+
| active_executing_flows |
| active_sla             |
| execution_flows        |
| execution_jobs         |
| execution_logs         |
| project_events         |
| project_files          |
| project_flows          |
| project_permissions    |
| project_properties     |
| project_versions       |
| projects               |
| properties             |
| schedules              |
| triggers               |
+------------------------+
15 rows in set (0.00 sec)

2.5 创建 jetty ssl配置

进入Azkaban的安装目录：

[yao@master azkaban-2.5.0]$ pwd
/home/yao/azkaban-2.5.0
[yao@master azkaban-2.5.0]$ keytool -keystore -alias jetty -genkey -keyalg RSA
//RSA是一种加密方式

运行此命令后,会提示输入当前生成 keystore 的密码及相应信息,输入的密码要劳记,信息如下:

以防忘记密码，可以将两个密码设置成同样的（“123456”）
以上配置完成之后会在当前目录生成一个keystore文件。

将 keystore 拷贝到 Azkaban Web 服务器目录中。

[yao@master azkaban-2.5.0]$ cp keystore /home/yao/azkaban-2.5.0/azkaban-web-2.5.0

2.6 Azkaban Web 服务器配置

2.6.1 修改配置文件 azkaban.properties

进入 Azkaban Web 服务器安装目录 conf 目录下：

[yao@master azkaban-2.5.0]$ cd azkaban-web-2.5.0/conf/
[yao@master conf]$ ls
azkaban.properties  azkaban-users.xml
[yao@master conf]$ vim azkaban.properties 

2.6.2 用户配置 azkaban-users.xml

进入 Azkaban Web 服务器安装目录 conf 目录下：

[yao@master azkaban-web-2.5.0]$ cd conf/
[yao@master conf]$ ls
azkaban.properties  azkaban-users.xml
[yao@master conf]$ vim azkaban-users.xml

2.7 Azkaban executor 执行服务器配置

进入Azkaban executor执行服务器目录 conf 目录下修改azkaban.properties配置文件：

[yao@master azkaban-2.5.0]$ cd azkaban-executor-2.5.0/conf/
[yao@master conf]$ ls
azkaban.private.properties  azkaban.properties  global.properties     
[yao@master conf]$ vim azkaban.properties 

2.8 启动 Azkaban Web 服务器

在 Azkaban Web 服务器目录下执行启动命令：

[yao@master azkaban-2.5.0]$ cd azkaban-web-2.5.0/
[yao@master azkaban-web-2.5.0]$ ls
azkaban.version  bin  conf  extlib  keystore  lib  plugins  web
[yao@master azkaban-web-2.5.0]$ bin/azkaban-web-start.sh 

2.9 启动 Azkaban executor 执行服务器

另外开启一个终端，在Azkaban executor 执行服务器目录下执行启动命令：

[yao@master azkaban-2.5.0]$ cd azkaban-executor-2.5.0/
[yao@master azkaban-executor-2.5.0]$ ls
azkaban.version  bin  conf  extlib  lib  plugins
[yao@master azkaban-executor-2.5.0]$ bin/azkaban-executor-start.sh 

三、验证

启动完成后，在浏览器中输入https://服务器IP地址:8443 ,即可访问
Azkaban 服务了。在登录中输入管理员用户名及密码,点击 Login。

主页信息：

如果看到Azkaban的主页，说明已经将Azkaban安装成功了