Azkaban two-server模式安装配置和启动
1. 下载编译azkaban
1. 下载:https://github.com/azkaban/azkaban
2. 下载源码到本地后,解压zip压缩包,执行:./gradlew distTar
3. 等待以上命令执行完后,会在各个对应模块下的build/distributions/下生成相应的tar包,如图:
4. 目前需要的四个tar包是:
解压以上四个tar包,假设重命名为db、exec-server、solo-server、web-server
2. 创建mysql数据库和用户
1. 设置mysql包大小,并重启mysql(登录到mysql安装机器)
vi /etc/my.conf
在[mysqld]下新增
max_allowed_packet=1024M
service mysqld restart
2. create database Azkaban;
create user 'azkaban'@'%' identified by '123456';
grant all on azkban.* to 'azkaban'@'%' identified by '123456' with grant option;
flush privileges;
3. 退出mysql,使用刚新建的azkaban/123456用户登录。
4. use azkaban;
source db/create-all-sql-0.1.0-SNAPSHOT.sql
3. azkaban-web-server安装配置
1. 解压后,web-server目录下只有bin,lib,web三个目录,需要手动增加以下几个目录:conf,extlib,plugins,azkaban,logs
2. 将solo-server/ build/resources/main/conf下的文件拷贝到刚才新建的conf目录下
3. 将solo-server/build/resources/main/log4j.properties拷贝到刚新建的conf目录下
4. 将编译前的azkaban-web-server/src/main/resources/azkaban/下的文件拷贝到刚才你新建的azkaban目录下
5. 将mysql-connector比如:mysql-connector-java-5.1.42.jar拷贝到刚新建的extlib下
6. 配置conf/azkaban.properties
主要配置数据库配置和jetty:
database.type=mysql
mysql.port=3306
mysql.host=devNameNode
mysql.database=azkaban
mysql.user=azkaban
mysql.password=123456
mysql.numconnections=100
# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8581
7. 配置conf/azkaban-users.xml
该文件可以配置界面登录用户,配置见文件模板。
8. 启动azkaban
到web-server目录下,执行:
nohup sh bin/azkaban-web-start.sh &
4. azkaban-exec-server安装配置
1. 解压后,exec-server目录下只有bin,lib两个目录,需要手动增加以下几个目录:
conf,extlib,plugins/jobtypes
2. 将solo-server/ build/resources/main/conf下的文件拷贝到刚才新建的conf目录下
3. 将solo-server/build/resources/main/log4j.properties拷贝到刚新建的conf目录下
4. 将编译前的azkaban-solo-server/src/main/resources/commonprivate.properties文件拷贝到刚创建的plugins/jobtypes目录中
5. 将mysql-connector比如:mysql-connector-java-5.1.42.jar拷贝到刚新建的extlib下
6. 配置conf/azkaban.properties
主要配置数据库配置和executor:
database.type=mysql
mysql.port=3306
mysql.host=devNameNode
mysql.database=azkaban
mysql.user=azkaban
mysql.password=123456
mysql.numconnections=100
# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30
7. 启动exec-server
到exec-server目录下,执行:
nohup sh bin/azkaban-exec-start.sh &