azkaban是一个使用起来很方便的调度框架
很多文章都只是列举了一些官网的demo案例,没有实际运用场景,这里本文探索这些问题:azkaban如何配置多个flow?多flow之间如何依赖? 如何设置通用参数?常用job参数如何设置?本文章为你解答。
(1)常用job参数设置
大多数情况下,我们都是直接使用调脚本常用的设置如下:
#b.job
#有任务依赖时可以设置job任务依赖,依赖名就是job的文件名,多个依赖用逗号隔开
dependencies=a
type=command
#可以根据具体场景决定是否传参
command=sh /opt/getData.sh ${name}
#失败重试次数
retries=3
#重试时间间隔(毫秒)
retry.backoff=10000
#job失败时发送的邮箱,多个邮箱用逗号隔开
failure.emails=
#job成功时发送的邮箱
success.emails=
#无论job成功失败都发送的邮箱
notify.emails=
(2):azkaban如何配置多个flow
多flow配置要这样配:
把多个flow放到一起打成zip包就可以了,比如我这里就是把test1和test2一起打成zip包,之后在azkaban的web界面上upload即可。
界面上会出现多个flow: