本人因不喜欢oozie,因此在cdh安装完成后,不使用oozie,安装azkaban,轻巧,使用方便,在界面也可以看到各个任务的执行情况等
下面记录一次实际的安装过程:
MySQL配置:
本处并未创建azkaban账号,有需要可以创建
将azkaban-sql-script-2.5.0.tar.gz上传到cdh-cm服务器上
tar -zxvf azkaban-sql-script-2.5.0.tar.gz
cd azkaban-2.5.0/
Mysql -uroot -p
CREATE DATABASE azkaban;
use azkaban;
SOURCE create-all-sql-2.5.0.sql; #导入数据,sql 文件在azkaban-sql-script-2.5.0.tar.gz包中
azkaban-web-server:
上传azkaban-web-server-2.5.0.tar.gz到cdh-master机器上
解压
进入解压目录
Vi conf/azkaban.properties
修改或增加配置:
jetty.use.ssl=false
database.type=mysql
mysql.port=3306
mysql.host=cdh-cm
mysql.database=azkaban
mysql.user=root
mysql.password=root
mysql.numconnections=100
default.timezone.id=Asia/Shanghai # 时区设置
executor.host=cdh-worker1 # 因为是two server mode模式,web-server和executor不在同一服务器上,所以需要如此配置,这里需要再Azkaban Executor settings下配置,否则会报错,亲测如此
启动:bin/azkaban-web-start.sh或者后台运行 nohup ./bin/azkaban-web-start.sh &
azkaban-executor-server:
上传azkaban-executor-server-2.5.0.tar.gz到cdh-worker1的/opt/bigdata目录下
Cd /opt/bigdata
Tar -zxvf azkaban-executor-server-2.5.0.tar.gz
Cd azkaban-executor-2.5.0/
Vi conf/azkaban.properties
#修改时区
default.timezone.id=Asia/Shanghai
#修改mysql配置
database.type=mysql
mysql.port=3306
mysql.host=cdh-cm
mysql.database=azkaban
mysql.user=root
mysql.password=root
mysql.numconnections=100
executor.host=cdh-master
其他的都是默认配置就行了
./bin/azkaban-executor-start.sh 启动
邮件设置
参考:cnblogs.com/xiqing/p/9645824.html
设置任务的定时执行与邮件的发送
上图是设置的成功和失败发送的邮件,可以用于测试,比如设置为1分钟一次,测试邮件功能是否正常
web ui 登录密码修改
vi azkaban-users.xml