azkaban的two server mode模式的安装配置和启动

                                               Azkaban two-server模式安装配置和启动

1. 下载编译azkaban

1. 下载：https://github.com/azkaban/azkaban
2. 下载源码到本地后，解压zip压缩包，执行：./gradlew distTar
3. 等待以上命令执行完后，会在各个对应模块下的build/distributions/下生成相应的tar包，如图：

 

4. 目前需要的四个tar包是：

 

解压以上四个tar包，假设重命名为db、exec-server、solo-server、web-server 

2. 创建mysql数据库和用户 

1. 设置mysql包大小，并重启mysql（登录到mysql安装机器）
    vi /etc/my.conf
    在[mysqld]下新增
    max_allowed_packet=1024M
    service mysqld restart
2. create database Azkaban;
    create user 'azkaban'@'%' identified by '123456';
    grant all on azkban.* to 'azkaban'@'%' identified by '123456' with grant option;
    flush privileges;
3. 退出mysql，使用刚新建的azkaban/123456用户登录。
4. use azkaban;
    source db/create-all-sql-0.1.0-SNAPSHOT.sql

3. azkaban-web-server安装配置

1. 解压后，web-server目录下只有bin，lib，web三个目录，需要手动增加以下几个目录：conf，extlib，plugins，azkaban，logs
2. 将solo-server/ build/resources/main/conf下的文件拷贝到刚才新建的conf目录下
3. 将solo-server/build/resources/main/log4j.properties拷贝到刚新建的conf目录下
4. 将编译前的azkaban-web-server/src/main/resources/azkaban/下的文件拷贝到刚才你新建的azkaban目录下
5. 将mysql-connector比如：mysql-connector-java-5.1.42.jar拷贝到刚新建的extlib下
6. 配置conf/azkaban.properties
   主要配置数据库配置和jetty：
   database.type=mysql
   mysql.port=3306
   mysql.host=devNameNode
   mysql.database=azkaban
   mysql.user=azkaban
   mysql.password=123456
   mysql.numconnections=100
   # Azkaban Jetty server properties.
   jetty.use.ssl=false
   jetty.maxThreads=25
   jetty.port=8581
7. 配置conf/azkaban-users.xml
   该文件可以配置界面登录用户，配置见文件模板。
8. 启动azkaban
   到web-server目录下，执行：
   nohup sh bin/azkaban-web-start.sh &

4. azkaban-exec-server安装配置

1. 解压后，exec-server目录下只有bin，lib两个目录，需要手动增加以下几个目录：
    conf，extlib，plugins/jobtypes
2. 将solo-server/ build/resources/main/conf下的文件拷贝到刚才新建的conf目录下
3. 将solo-server/build/resources/main/log4j.properties拷贝到刚新建的conf目录下
4. 将编译前的azkaban-solo-server/src/main/resources/commonprivate.properties文件拷贝到刚创建的plugins/jobtypes目录中
5. 将mysql-connector比如：mysql-connector-java-5.1.42.jar拷贝到刚新建的extlib下
6. 配置conf/azkaban.properties
   主要配置数据库配置和executor：
   database.type=mysql
   mysql.port=3306
   mysql.host=devNameNode
   mysql.database=azkaban
   mysql.user=azkaban
   mysql.password=123456
   mysql.numconnections=100
   # Azkaban Executor settings
   executor.maxThreads=50
   executor.port=12321
   executor.flow.threads=30
7. 启动exec-server
   到exec-server目录下，执行：
   nohup sh bin/azkaban-exec-start.sh &