azkaban安装及使用

Azkaban is a batch workflow job scheduler created at LinkedIn to run Hadoop jobs. Azkaban resolves the ordering through job dependencies and provides an easy to use web user interface to maintain and track your workflows.

就是hadoop工作调度协调器，那么多组件，按照顺序链接起来

比较流行的是azkaban和oozie azkaban比较轻量级

azkaban需要mysql，因为任务执行不是仅执行一次就ok了，所以需要将任务保存到mysql中

需要安装azkaban-excutor  -web -sql

解压即可，有很多插件，目前只需要这三个，

只需要安装到集群中的某一个机器就行

sql中有一个sql脚本 createall导入mysql中

mysql>create database azkaban

source /opt/azkaban-2.5.0/create-all-sql-2.5.0.sql

azkaban是加密的https，所以服务端需要有个加密的证书

 keytool -keystore keystore -alias jetty -genkey -keyalg RSA

密码需要六位

下面的一些可以不用填写，之填个国家代号即可CN

jetty密码相同回车

将生成的keystorecp到azakban-web目录下

然后统一时间，因为任务调度可能需要按时进行

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

如果没有Shanghai 用tzselect生成即可

配置web中的conf中的properties

将mysql密码以及ssl密码相应配置

添加一个用户在user。xml

    <user username="admin" password="admin" roles="admin,metrics"/>

配置excutor conf properties 和上面类似

启动

先启动web

bin/azkaban.start.sh

excutor

bin/azkaban

访问https://mini01:8443建议用chrome ff会拒绝链接

上传文件任务必须是zip,且被压缩文件必须以.job结尾

zip xx.zip xx

~ ❯❯❯ cat command.job
#command.job
type=command
command=echo 'hello'