azkaban个人学习笔记

azkaban
azkaban 工作流调度器
安装：
azkaban-executor-server-2.5.0.tar.gz
azkaban-sql-script-2.5.0.tar.gz
azkaban-web-server-2.5.0.tar.gz

mkdir azkaban
tar -zxvf azkaban-web-server-2.5.0.tar.gz -C /apps/azkaban/
tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C /apps/azkaban/
cd /apps/azkaban/
mv azkaban-web-2.5.0/ server
mv azkaban-executor-2.5.0/ executor

mysql -uroot -p123456
create databases;
show databases;
use azkaban;
source /apps/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql

keytool -keystore keystore -alias jetty -genkey -keyalg RSA
cp keystore server/bin

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

tzselect 生成时区文件
hwclock -w 修改时间

cd /apps/azkaban/server/conf
vi azkaban.properties
#Azkaban Personalization Settings
azkaban.name=Test #f服务器UI名称 用于服务器上方显示的名字
azkaban.label=My Local Azkaban #描述
azkaban.color=#FF3601 #UI颜色
azkaban.default.servlet.path=/index
web.resource.dir=/apps/azkaban/server/web/ #默认根web目录
default.timezone.id=Asia/Shanghai #默认时区 修改为亚洲 上海 默认美国

#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager #用户权限管理默认类
user.manager.xml.file=/apps/azkaban/server/conf/azkaban-users.xml #用户配置

#Loader for projects
executor.global.properties=/apps/azkaban/executor/conf/global.properties #global配置文件所在位置
azkaban.project.dir=projects

database.type=mysql #数据库类型
mysql.port=3306
mysql.host=node1
mysql.database=azkaban
mysql.user=root
mysql.password=123456
mysql.numconnections=100

#Velocity dev mode
velocity.dev.mode=false

#Azkaban Jetty server properties.
jetty.maxThreads=25 #最大线程数
jetty.ssl.port=8443 #Jetty SSL 端口
jetty.port=8081
jetty.keystore=keystore #SSL 文件名
jetty.password=123456 #SSL文件密码
jetty.keypassword=123456 #Jetty主密码 与keystore文件相同
jetty.truststore=keystore #SSL 文件名
jetty.trustpassword=123456 #SSL文件密码

#Azkaban Executor settings
executor.port=12321 #执行服务器端口

#mail settings
mail.sender=
mail.host=
job.failure.email=
job.success.email=

lockdown.create.projects=false

cache.directory=cache

vi azkaban-users.xml

cd /apps/azkaban/executor/conf

vi azkaban.properties
#Azkaban
default.timezone.id=Asia/Shanghai

#Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=plugins/jobtypes

#Loader for projects
executor.global.properties=/apps/azkaban/executor/conf/global.properties
azkaban.project.dir=projects

database.type=mysql
mysql.port=3306
mysql.host=node1
mysql.database=azkaban
mysql.user=root
mysql.password=123456
mysql.numconnections=100

#Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30

启动server
cd /apps/azkaban/server/bin
./azkaban-web-start.sh
启动executor
cd /apps/azkaban/executor/bin
./azkaban-executor-start.sh

链接mysql出错解决办法
select user,host,password from mysql.user;
delete from mysql.user where host= ‘%’;
grant all privileges on . to root@’%’ identified by ‘123456’ with grant option;
flush privileges;

Azkaban 内置的任务类型支持 command java
azkaban运行job方法

创建job描述文件
vi command.job
#command.job
type=command
command= echo ‘hello’

打成zip
command.zip

创建有依赖关系的多个job描述
第一个job foo.job
vi foo.job
#foo.job
type=command
command=echo foo

第二个job bar.job 依赖foo.job
#bar.job
type=command
dependencies=foo
command=echo bar

https://node1:8443/
网页上导入压缩包点击执行