azkaban的使用

简单记录azkaban的使用

官方文档：http://azkaban.github.io/azkaban/docs/latest/

搭建好配置好以后

将执行任务的脚本按照语法写在一个job文件里。

不同的job可以存在依赖关系。

可以创建flow

不同的flow之间也可以存在依赖关系。

job和flow文件的语法也特别简单，依赖关系都写在job或者flow中，每个文件只有几行

这样就可以通过编写job和flow文件完成复杂逻辑的任务调度

最终将所有的job文件flow文件和任务代码一起打包成zip上传到azkaban即可。

azkaban上有各种功能，具体进去瞎点几下就都知道了。

例子：

任务脚本job.sh：

你的任务启动脚本 job.sh

job文件job_1.job：

type=command
command=sh job.sh
dependencies=job_0

flow文件flow_1.flow：

type=flow
flow.name=flow_1
dependencies=flow_0

复杂的就是多个这种然后各种依赖，最后打包成zip上传，就可以定时运行。