Azkaban安装部署

Azkaban安装部署

1、下载后编译

修改 build.gradle文件中的maven仓库地址为http://maven.aliyun.com/nexus/content/groups/public/

执行命令

./gradlew build
./gradlew clean
./gradlew installDist
./gradlew test
./gradlew build -x test

如果报错：

则重新安装下python环境

pip install -r requirements.txt

然后重新clean后重新编译

2、创建azkaban目录，将以下目录下的tar依赖包放入此文件夹内

(1) azkaban-db/build/distributions/

(2) azkaban-exec-server/build/distributions/

(3) azkaban-hadoop-security-plugin/build/distributions/

(4) azkaban-solo-server/build/distributions/

(5) azkaban-web-server/build/distributions/

3、mysql安装

(1) root用户下操作
mysql -u root -p root
查看用户列表
select host ,user,password from mysql.user;
创建azkaban用户
create user ‘azkaban’ identified by ‘azkaban’;

(2) root用户下操作
grant all on . to ‘azkaban’@‘hadoop01’ identified by ‘azkaban’;
flush privileges;
grant all on . to ‘azkaban’@’%’ identified by ‘azkaban’;
flush privileges

(3) 使用azkaban用户登录， 密码为azkaban
mysql -h hadoop01 -uazkaban -p

（ 4） 为azkaban单独创建一个数据库
CREATE DATABASE azkaban;

(5) 解压azkaban-db
tar -zxvf azkaban-db.tar.gz
（ 6） 登录mysql
mysql -h hadoop01 -uazkaban -p （ 密码为azkaban）
（ 7） 进入Azkaban数据库
mysql> use azkaban;
Database changed
（ 8） 将azkaban sql表结构导入mysql
该文件位于解压后的 azkaban-db 目录下（ 一定是带all的sql文件）
mysql> source /home/hadoop/app/azkaban/azkaban-db-0.1.0-SNAPSHOT/create-all-sql-0.1.0-
SNAPSHOT.sql
mysql> show tables;

4、解压Azkaban Web Server
[hadoop@hadoop01 azkaban]$
tar -zxvf azkaban-web-server-.tar.gz
（ 1） 配置keystore
在azkaban-web-server目录下执行如下命令， 会生成一个keystore 文件， 为了方便所有密码用同
一个(比如azkaban)：
[hadoop@hadoop01 azkaban-web-server-0.1.0-SNAPSHOT]$
keytool -keystore keystore -alias jetty -genkey -keyalg RSA
将生成的keystore文件复制到azkaban-web-server的bin目录下
[hadoop@hadoop01 azkaban-web-server-0.1.0-SNAPSHOT]$ cp keystore bin/

(2) 修改conf/azkaban.properties
# Azkaban Personalization Settings
default.timezone.id=Asia/Shanghai
# Azkaban Jetty server properties.
#jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8081
jetty.ssl.port=8443
jetty.keystore=keystore
jetty.password=azkaban
jetty.keypassword=azkaban
jetty.truststore=keystore
jetty.trustpassword=azkaban
# Azkaban Executor settings（ 跟Executor端口号保持一致）
executor.port=12321
# Azkaban mysql settings by default.
database.type=mysql
mysql.port=3306
mysql.host=hadoop01
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=/home/hadoop/app/azkaban/azkaban-web-server-0.1.0

5、 解压Azkaban Executor Server
[hadoop@hadoop01 azkaban]$
tar -zxvf azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz

(1) 配置executor端的azkaban.properties
# Azkaban Personalization Settings
default.timezone.id=Asia/Shanghai
# Azkaban mysql settings by default.
database.type=mysql
mysql.port=3306
mysql.host=hadoop01
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
# Azkaban Executor settings，
executor.maxThreads=50
executor.flow.threads=30

6、启动

(1) 先启动exec-server
[hadoop@hadoop01 azkaban-exec-server-0.1.0-SNAPSHOT]$
bin/start-exec.sh

手动激活（官网命令）curl -G “localhost:$(<./executor.port)/executor?action=activate” && echo

(2) 再启动web-server
[hadoop@hadoop01 azkaban-web-server-0.1.0-SNAPSHOT]$ bin/start-web.sh

(3)登陆web界面

http://192.168.0.187:8081/