首先,将azkaban部署在拥有Hadoop、Hive、Mysql的集群上,方便调度。
准备好jar包:
- 上传安装包并解压缩到指定目录
- web-server
- executor-server
tar -zxvf azkaban-web-server-2.5.0.tar.gz -C /export/servers/azkaban-2.5.0/
tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C /export/servers/azkaban-2.5.0/
2.将azkaban的SQL脚本导入到MySQL
- 解压压缩包后可以得到所有SQL脚本的文件夹,azkaban-2.5.0.
然后进入到MySQL,创建数据库,创建表
tar -zxvf azkaban-sql-script-2.5.0.tar.gz
mysql> create database azkaban;
Query OK, 1 row affected (0.00 sec)
mysql> use azkaban;
Database changed
mysql> source /export/software/azkabantools/azkaban-2.5.0/create-all-sql-2.5.0.sql
- 创建SSL配置
cd /export/servers/azkaban,输入以下命令
keytool -keystore keystore -alias jetty -genkey -keyalg RS
完成上述工作后,将在当前目录生成 keystore 证书文件,将 keystore 拷贝到 azkaban web 服务 器根目录中.如:
- 时区配置
注:先配置好服务器节点上的时区
1、先生成时区配置文件 Asia/Shanghai,用交互式命令 tzselect 即可
2、拷贝该时区文件,覆盖系统本地时区配置
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
-
修改azkaban web 服务器配置
cd /export/servers/azkaban/azkaban-web-2.5.0/conf
vi azkaban.propertiescd apps/azkaban-2.5.0/azkaban-executor-2.5.0/conf/
vi azkaban.properties
#Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai
#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=root
mysql.password=123456
mysql.numconnections=100
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=keystore
jetty.password=123456
jetty.keypassword=123456
jetty.truststore=keystore
jetty.trustpassword=123456
# Azkaban Executor settings
executor.port=12321
修改 azkaban-users.xml配置文件
用户配置 进入 azkaban web 服务器 conf 目录,修改 azkaban-users.xml
vi azkaban-users.xml 增加 管理员用户
<azkaban-users>
<user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
<user username="metrics" password="metrics" roles="metrics"/>
<user username="admin" password="admin" roles="admin,metrics" />
<role name="admin" permissions="ADMIN" />
<role name="metrics" permissions="METRICS"/>
</azkaban-users>
- 配置环境变量
[hadoop@hadoop3 ~]$ vi .bashrc
#Azkban
export AZKABAN_WEB_HOME=/home/hadoop/apps/azkaban-2.5.0/azkaban-web-2.5.0
export AZKABAN_EXE_HOME=/home/hadoop/apps/azkaban-2.5.0/azkaban-executor-2.5.0
export PATH=$PATH:$AZKABAN_WEB_HOME/bin:$AZKABAN_EXE_HOME/bin
[hadoop@hadoop3 ~]$ source .bashrc
。。。