Azkaban的安装，集群及使用（一）

Azkaban的介绍：

Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。

功能特点：

1、Web用户界面
2、方便上传工作流
3、方便设置任务之间的关系
4、调度工作流
5、认证/授权(权限的工作)
6、能够杀死并重新启动工作流
7、模块化和可插拔的插件机制
8、项目工作区
9、工作流和任务的日志记录和审计

Azkaban与Oozie对比

u 资源管理

Azkaban有较严格的权限控制，如用户对工作流进行读/写/执行等操作

Oozie暂无严格的权限控制

u 工作流执行

Azkaban有两种运行模式，分别是soloserver mode(executor server和web server部署在同一台节点)和multi server mode(executor server和web server可以部署在不同节点)
u 工作流传参

Azkaban支持直接传参，例如${input}

Oozie支持参数和EL表达式，例如${fs:dirSize(myInputDir)}

u 定时执行

Azkaban的定时执行任务是基于时间的

Oozie的定时执行任务基于时间和输入数据

Azkaban和Airflow对比

Airflow基于Dag也可以定义复杂的工作流，属于Python技术栈。Azkaban属于Java
不建议使用Airflow，因为其管理界面实在太low了。

安装流程

azkaban web服务器安装

解压azkaban-web-server-2.5.0.tar.gz

命令: tar –zxvf azkaban-web-server-2.5.0.tar.gz

将解压后的azkaban-web-server-2.5.0 移动到 azkaban目录中,并重新命名 webserver

命令:

   mv azkaban-web-server-2.5.0 ../azkaban

   cd ../azkaban

   mv azkaban-web-server-2.5.0  server

azkaban 执行器安装

解压azkaban-executor-server-2.5.0.tar.gz

命令:tar –zxvf azkaban-executor-server-2.5.0.tar.gz

将解压后的azkaban-executor-server-2.5.0 移动到 azkaban目录中,并重新命名 executor

命令:

	mv azkaban-executor-server-2.5.0  ../azkaban

	cd ../azkaban

	mv azkaban-executor-server-2.5.0 executor

azkaban脚本导入

解压: azkaban-sql-script-2.5.0.tar.gz

命令:tar –zxvf azkaban-sql-script-2.5.0.tar.gz

将解压后的mysql 脚本,导入到mysql中:

进入mysql：

mysql> create database azkaban;

mysql> use azkaban;

Database changed

mysql> source 你的sql绝对路径/create-all-sql-2.5.0.sql;

创建SSL配置

命令: keytool -keystore keystore -alias jetty -genkey -keyalg RSA

将在当前目录生成 keystore 证书文件,将keystore 拷贝到 azkaban web服务器根目录中.如:cp keystore azkaban/webserver

配置文件

1、生成时区配置文件Asia/Shanghai

2、拷贝该时区文件，覆盖系统本地时区配置

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

azkaban web服务器配置

进入azkaban web服务器安装目录 conf目录

vim 修改azkaban.properties文件，一般修改的文件内容为：

azkaban.name=Test
azkaban.label=My Local Azkaban
# 数据库方面
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100

azkaban 执行服务器配置

进入执行executor服务器安装目录conf,修改azkaban.properties，基本与web修改的内容一致，修改数据库配置。
若有多台服务器需要连接azkaban使用，可以在其它服务器上安装执行器，将对应的服务器加入azkaban数据库的executors表，并激活。对应的主键id会非常重要

用户配置

进入azkaban web服务器conf目录,修改azkaban-users.xml，增加 管理员用户

启动

web服务器
在azkaban web服务器目录下执行启动命令：

bin/azkaban-web-start.sh
或者后台启动：nohup ./bin/Azkaban-web.start.sh  >>  xxx.out&

执行服务器
在执行服务器目录下执行启动命令:

./bin/azkaban-executor-start.sh

访问：https://localhost:8443 ,即可访问azkaban服务

Azkaban使用

1、添加项目projects

2、编程job文件（单一简单模式）

#command.job

type=command                                                    

command=echo 'hello world'

3、上传

4、执行

5、添加定时器和执行器选择

工作中使用

场景一：在docker外面访问docker里面的python执行

#xxxx
type = command
command = docker exec -w /code/azkaban 81023aqe1331 python manage.py test

场景二：访问本地的python项目

#xxxxx
type = command
command = python /home/host/azkaban/manage.py test

场景三：访问本地的py文件

#xxxxx
type = command
command = python /home/host/azkaban/test.py

场景四：访问一些shell

#xxxxx
type = command
command = sh /home/host/azkaban/test.sh

场景五：执行工作流flow
start.job

# start.job
type=command
command = echo 'start'

run_0.job

#sync_azkaban_test.py 0
type = command
command = docker exec -w /code/azkaban 8123qew131 python manage.py sync_azkaban_test 0
dependencies = start   # 依赖

run_1.job

#sync_azkaban_test.py 1
type = command
command = docker exec -w /code/azkaban 8123qew131 python manage.py sync_azkaban_test 1
dependencies = start   # 依赖

end.job

# end.job
type=command
command = echo 'end'
dependencies = run_0, run_1

这是一个工作流，可以缩短一个程序的执行时间，提高效率！相对来说比定时器要高效，简洁，可观很多！