Azkaban4.0.0分布式安装部署

目录

一、前言

二、Mysql配置

三、 安装Azkaban（在顶部获取下载安装包或搜索作者的下载资源进行下载）

四、配置Azkaban

（一）配置Relational Batabase，需要提前安装好MySQL8.0

（二） 配置Azkaban Web Server

（三） 配置Azkaban Executor Server

（四） 关闭Azkaban内存检查

五、启动Azkaban

​六、关闭Azkaban

七、为Azkaban添加新用户

---

一、前言

         随着大数据开发的普及以及人们对工作流管理器的需求,Azkaban也受到了越来越多的开发者的使用，因此Azkaban 的版本也在持续更新，本文将使用Akaban 4.0.0讲解Azkabar的部署和使用。
        在Azkaban 3.X版本之后，Azkaban 提供了两种部模式，分别是 solo-server mode(独立服务器模式)和distributed multiple-executor mode(分布式多服务器模式)。

1. solo-server mode
在solo-servermode中,Azkaban的3个核心组件运行在服务器的同一进程中，并且RelationalDatabase使用内嵌的数据库H2存储Azkaban的相关数据，这种部署模式只适合测试环境。

2. distributed multiple-executor mode
在distributedmultiple-executor mode中,可以将Akaban的3个核心组件运行在同一服务器的不同进程，为了后续便于对Akaban 进行升级维护时不对用户使用产生影响，也可以将Azkaban的3个核心组件运行在不同服务器的进中。基于distributed multipleexecutor mode部署Azkaban 时，Relational Database 通常使用关系数据库MySQL存储Azkaban的相关数据，该模式适用于生产环境。
本文主要演示基于distributedmultiple-executor mode部署Azkaban

二、Mysql配置

Linux安装mysql（yum安装）-CSDN博客https://blog.csdn.net/weixin_65875490/article/details/134340121

三、 安装Azkaban（在顶部获取下载安装包或搜索作者的下载资源进行下载）

1. 将本文提供的安装包上传到master的/export//software目录

2. 创建Azkaban安装目录

mkdir -p /export//servers/azkaban

 3.安装Relational Batabase

cd /export//software
tar -zxvf azkaban-db-0.1.0-SNAPSHOT.tar.gz -C /export/servers/azkaban

 4. 构建软链接

cd /export//servers/azkaban
ln -s azkaban-db-0.1.0-SNAPSHOT azkaban-db

5. 安装Azkaban Web Server 

cd /export//software
tar -zxvf azkaban-web-server-0.1.0-SNAPSHOT.tar.gz -C /export/servers/azkaban

6. 构建软链接 

cd /export//servers/azkaban
ln -s azkaban-web-server-0.1.0-SNAPSHOT azkaban-web

 7. 安装Azkaban Executor Server

cd /export//software
tar -zxvf azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz -C /export//servers/azkaban

8. 构建软链接

cd /export//serves/azkabanr
ln -s azkaban-exec-server-0.1.0-SNAPSHOT azkaban-exec

四、配置Azkaban

（一）配置Relational Batabase，需要提前安装好MySQL8.0

1. 创建Azkaban数据库

#登录MySQL  （mysql -u用户名 -p密码），本文的用户名为root，密码为mysql
mysql -uroot -pmysql
 
#在MySQL中创建一个存储Azkaban元数据的数据库azkaban
create database azkaban;

2. 初始化数据库azkaban的表

#在MySQL中，选择数据库azkaban
use azkaban;

#使用source命令导入SQL脚本文件，初始化数据库azkaban的表
source /export/servers/azkaban/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql;

#查看数据库azkaban中的表
show tables;//这些表用于存储azkaban的元数据

​

 （二） 配置Azkaban Web Server

1. Azkaban Web服务器安装配置

cd /export//servers/azkaban/azkaban-web/conf
vim azkaban.properties

#default.timezone.id=Asia/Shanghai   //修改时区为上海
#mysql.user=root   //修改为hadoop或别的用户
#mysql.password=mysql //上述用户的密码
#关闭azkaban自带的MinimumFreeMemory过滤器，以免执行后续工作流时出现无法执行的问题
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus

2. 配置日志文件

cd /export//servers/azkaban/azkaban-web/conf
vim log4j.properties
#log4j.appender.server.File=/export//data/logs/azkaban-webserver.log

（三） 配置Azkaban Executor Server

1. Azkaban Executor服务器安装配置

cd /export//servers/azkaban/azkaban-exec/conf
vim azkaban.properties

#default.timezone.id=Asia/Shanghai
#mysql.user=root   //修改为hadoop或别的用户
#mysql.password=mysql//上述用户的密码

#在最后一行添加azkaban web server和azkaban executor server通信的端口号
executor.port=12321

2. 配置日志文件

cd /export//servers/azkaban/azkaban-exec/conf
vim log4j.properties
#log4j.appender.server.File=/export//data/logs/azkaban-execserver.log

（四） 关闭Azkaban内存检查

cd /export//servers/azkaban/azkaban-exec/plugins/jobtypes
vim commonprivate.properties
#添加如下内容，关闭内存检查，即取消默认的3GB虚拟机空闲内存
memCheck.enabled=false

五、启动Azkaban

1. 启动Azkaban Executor Server

cd /export//servers/azkaban/azkaban-exec
bin/start-exec.sh
jps  //应该看到进程AzkabanExecutorServer

2. 激活Azkaban Executor Server

curl -G "localhost:12321/executor?action=activate" && echo;
#返回 {"status":"success"}

​

3. 启动Azkaban Web Server

cd /export//servers/azkaban/azkaban-web
bin/start-web.sh
jps  //应该看到进程AzkabanWebServer

4. 访问Azkaban Web UI

#在本地的web浏览器中输入：主机名:8081
master:8081

#用户名和密码均是azkaban默认提供的azkaban

​六、关闭Azkaban

1. 若要关闭Azkaban Web Server

cd /export//servers/azkaban/azkaban-web

bin/shutdown-web.sh

2. 若要关闭Azkaban Executor Server

cd /export//servers/azkaban/azkaban-exec

bin/shutdown-exec.sh

七、为Azkaban添加新用户

cd /export//servers/azkaban/azkaban-web/conf
vim azkaban-users.xml
#添加<user password="admin" roles="metrics,admin" username="admin"/>

​

保存退出。在操作一遍操作五，重新启动AAzkaban Web Server，zkaban Web Server，用admin用户登录。