Azkaban的安装部署

一、安装需要的jar包

// 将Azkaban Web服务器
azkaban-web-server-2.5.0.tar.gz
// Azkaban执行服务器
azkaban-executor-server-2.5.0.tar.gz
// sql脚本
azkaban-sql-script-2.5.0.tar.gz

二、安装azkaban

1. 在/usr/local目录下创建azkaban目录

   mkdir azkaban
   

2. 解压所需的jar包到/usr/local/azkaban目录下

   tar -zxvf azkaban-web-server-2.5.0.tar.gz -C /usr/local/azkaban
   tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C /usr/local/azkaban
   tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C /usr/local/azkaban
   

3. 对解压后的文件重新命名

   mv azkaban-web-2.5.0/ server
   
   mv azkaban-executor-2.5.0/ executor
   

4. azkaban脚本导入

   // 创建数据库
   create database azkaban;
   // 使用数据库
   use azkaban;
   // 导入执行sql语句
   source /usr/local/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql
   

三、创建SSL配置

1. 生成 keystore的密码及相应信息

   keytool -keystore keystore -alias jetty -genkey -keyalg RSA
    
   输入keystore密码： 
   再次输入新密码:
   您的名字与姓氏是什么？
     [Unknown]： 
   您的组织单位名称是什么？
     [Unknown]： 
   您的组织名称是什么？
     [Unknown]： 
   您所在的城市或区域名称是什么？
     [Unknown]： 
   您所在的州或省份名称是什么？
     [Unknown]： 
   该单位的两字母国家代码是什么
     [Unknown]：  CN
   CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗？
     [否]：  y
    
   输入<jetty>的主密码
           （如果和 keystore 密码相同，按回车）： 
   再次输入新密码:
   

2. 将keystore拷贝到 azkaban web服务器根目录中

   mv keystore /usr/local/azkaban/server/
   

四、配置文件

1. web服务器配置

1. azkaban.properties

   #Azkaban Personalization Settings
   azkaban.name=Test                           			#服务器UI名称,用于服务器上方显示的名字
   azkaban.label=My Local Azkaban                          #描述
   azkaban.color=#FF3601                                   #UI颜色
   azkaban.default.servlet.path=/index                     #
   web.resource.dir=web/                                   #默认根web目录
   default.timezone.id=Asia/Shanghai                       #默认时区,已改为亚洲/上海 默认为美国
    
   #Azkaban UserManager class
   user.manager.class=azkaban.user.XmlUserManager   		#用户权限管理默认类
   user.manager.xml.file=conf/azkaban-users.xml            #用户配置,具体配置参加下文
    
   #Loader for projects
   executor.global.properties=conf/global.properties    	# global配置文件所在位置
   azkaban.project.dir=projects                            #
    
   database.type=mysql                                     #数据库类型
   mysql.port=3306                                         #端口号
   mysql.host=hadoop01                                     #数据库连接IP
   mysql.database=azkaban                                  #数据库实例名
   mysql.user=root                                         #数据库用户名
   mysql.password=root                                     #数据库密码
   mysql.numconnections=100                                #最大连接数
    
   # Velocity dev mode
   velocity.dev.mode=false
   # Jetty服务器属性.
   jetty.maxThreads=25                                     #最大线程数
   jetty.ssl.port=8443                                     #Jetty SSL端口
   jetty.port=8081                                         #Jetty端口
   jetty.keystore=keystore                                 #SSL文件名
   jetty.password=123456                                   #SSL文件密码
   jetty.keypassword=123456                                #Jetty主密码 与 keystore文件相同
   jetty.truststore=keystore                               #SSL文件名
   jetty.trustpassword=123456                              # SSL文件密码
    
   # 执行服务器属性
   executor.port=12321                                     #执行服务器端口
    
   # 邮件设置
   mail.sender=                                      	    #发送邮箱
   mail.host=                                              #发送邮箱smtp地址
   mail.user=                                      		#发送邮件时显示的名称
   mail.password=                                          #邮箱密码
   job.failure.email=                              		#任务失败时发送邮件的地址
   job.success.email=                          			#任务成功时发送邮件的地址
   lockdown.create.projects=false                          #
   
   cache.directory=cache                                   #缓存目录
   

2. azkaban-users.xml

   <azkaban-users>
           <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
           <user username="metrics" password="metrics" roles="metrics"/>
           <user username="admin" password="admin" roles="admin,metrics" />
           <role name="admin" permissions="ADMIN" />
           <role name="metrics" permissions="METRICS"/>
   </azkaban-users>
   

2. 执行服务器配置

1. azkaban.properties

#Azkaban
default.timezone.id=Asia/Shanghai                                #时区
 
# Azkaban JobTypes 插件配置
azkaban.jobtype.plugin.dir=plugins/jobtypes                      #jobtype 插件所在位置
 
#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
 
#数据库设置
database.type=mysql                                              #数据库类型(目前只支持mysql)
mysql.port=3306                                                  #数据库端口号
mysql.host=192.168.137.128                                       #数据库IP地址
mysql.database=azkaban                                           #数据库实例名
mysql.user=root                                                  #数据库用户名
mysql.password=root                                              #数据库密码
mysql.numconnections=100                                         #最大连接数
 
# 执行服务器配置
executor.maxThreads=50                                           #最大线程数
executor.port=12321                                              #端口号(如修改,请与web服务中一致)
executor.flow.threads=30                                         #线程数

五、启动

// 在web服务器目录下启动web服务器
bin/azkaban-web-start.sh

// 在执行服务器目录下启动执行服务器
bin/azkaban-executor-start.sh

启动完成后，访问https://服务器IP地址:8443，即可打开azkaban服务。

问题说明

Host ‘XXX’ is not allowed to connect to this MySQL server (需要远程登录用户授权)

• grant all PRIVILEGES on . to root@‘192.168.137.129’ identified by ‘密码’;