azkaban的安装

1.1 集群模式安装

1.1.1 上传tar包

1）将azkaban-db-3.84.4.tar.gz，azkaban-exec-server-3.84.4.tar.gz，azkaban-web-server-3.84.4.tar.gz上传到node01的/opt/software路径

2）新建/opt/module/azkaban目录，并将所有tar包解压到这个目录下

[atguigu@node01 software]$ mkdir /opt/module/azkaban

3）解压azkaban-db-3.84.4.tar.gz、 azkaban-exec-server-3.84.4.tar.gz和azkaban-web-server-3.84.4.tar.gz到/opt/module/azkaban目录下

4）进入到/opt/module/azkaban目录，依次修改名称

配置MySQL

1）正常安装MySQL

2）启动MySQL

3）登陆MySQL，创建Azkaban数据库

4）创建azkaban用户并赋予权限

新版mysql设置安全策略，设置过可以直接去创建

设置密码有效长度4位及以上

mysql> set global validate_password_length=4;

设置密码策略最低级别

mysql> set global validate_password_policy=0;

创建Azkaban用户，任何主机都可以访问Azkaban，密码是000000

mysql> CREATE USER 'azkaban'@'%' IDENTIFIED BY '000000';

赋予Azkaban用户增删改查权限

mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;

5）创建Azkaban表，完成后退出MySQL

mysql> use azkaban; 
mysql> source /opt/module/azkaban/azkaban-db-3.84.4/create-all-sql-3.84.4.sql mysql> 
quit;

6）更改MySQL包大小；防止Azkaban连接MySQL阻塞

[atguigu@node01 software]$ vi /etc/my.cnf

在[mysqld]下面加一行max_allowed_packet=1024M

[mysqld]

max_allowed_packet=1024M

8）重启MySQL

[atguigu@node01 software]$ systemctl restart mysqld

1.1.3 配置Executor Server

Azkaban Executor Server处理工作流和作业的实际执行。

1）编辑azkaban.properties

[atguigu@node01 azkaban]$ vi /opt/module/azkaban/azkaban-exec/conf/azkaban.properties

修改如下标红的属性

#...

default.timezone.id=Asia/Shanghai

#...

azkaban.webserver.url=http://node01:8081

executor.port=12321

#...

database.type=mysql

mysql.port=3306

mysql.host=node01

mysql.database=azkaban

mysql.user=azkaban

mysql.password=000000

mysql.numconnections=100

在最后添加

executor.metric.reports=true

executor.metric.milisecinterval.default=60000

注意：如若是mysql8.0以后，azkaban-exec/lib替换驱动jar包为8.0的

2）同步azkaban-exec到所有节点,单机版不需要同步操作

[atguigu@node01 azkaban]$ xsync /opt/module/azkaban/azkaban-exec

3）必须进入到/opt/module/azkaban/azkaban-exec路径，分别在三台机器上，启动executor server

[atguigu@node01 azkaban-exec]$ bin/start-exec.sh 
[atguigu@node02 azkaban-exec]$ bin/start-exec.sh 
[atguigu@node03 azkaban-exec]$ bin/start-exec.sh

注意：如果在/opt/module/azkaban/azkaban-exec目录下出现executor.port文件，说明启动成功

4）下面激活executor，需要

[atguigu@node01 azkaban-exec]$ curl -G "node01:$(<./executor.port)/executor?action=activate" && echo 

[atguigu@node02 azkaban-exec]$ curl -G "node02:$(<./executor.port)/executor?action=activate" && echo 

[atguigu@node03 azkaban-exec]$ curl -G "node03:$(<./executor.port)/executor?action=activate" && echo

如果三台机器都出现如下提示，则表示激活成功

{"status":"success"}

1.1.4 配置Web Server

Azkaban Web Server处理项目管理，身份验证，计划和执行触发。

1）编辑azkaban.properties

[atguigu@node01 azkaban]$ vi /opt/module/azkaban/azkaban-web/conf/azkaban.properties

修改如下属性

...

default.timezone.id=Asia/Shanghai

...

database.type=mysql

mysql.port=3306

mysql.host=node01

mysql.database=azkaban

mysql.user=azkaban

mysql.password=000000

mysql.numconnections=100

...

azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus

说明：

注意：如若是mysql8.0以后，azkaban-web/lib替换驱动jar包为8.0的

#StaticRemainingFlowSize：正在排队的任务数；

#CpuStatus：CPU占用情况

#MinimumFreeMemory：内存占用情况。测试环境，必须将MinimumFreeMemory删除掉，否则它会认为集群资源不够，不执行。

2）修改azkaban-users.xml文件，添加atguigu用户

[atguigu@node01 azkaban-web]$ vi /opt/module/azkaban/azkaban-web/conf/azkaban-users.xml

 

3）必须进入到node01的/opt/module/azkaban/azkaban-web路径，启动web server

[atguigu@node01 azkaban-web]$ bin/start-web.sh

4）访问http://node01:8081,并用atguigu用户登陆