Azkaban 2.5使用文档
一、介绍
1.azkaban使用时,需要配置一个job文件,文件中设置job类型以及job执行的脚本或者任务。
2.如果执行的是脚本,还需要将脚本和job文件一起打成一个zip包,上传到azkaban中。
3.azkaban的job文件中,type支持多种类型
command:Linux shell命令行任务
gobblin:通用数据采集工具
hadoopJava:运行hadoopMR任务
java:原生java任务
hive:支持执行hiveSQL
pig:pig脚本任务
spark:spark任务
hdfsToTeradata:把数据从hdfs导入Teradata
teradataToHdfs:把数据从Teradata导入hdfs
一般都只是使用cammand形式,因为脚本中可以编写更加灵活的任务方式,比在azkaban中调用要灵活很多很多,维护管理也更加熟悉一些。
二、Command类型命令job示例
1.创建job描述文件
Job1.job
#job1.job
type=command
command=echo 'job1'
Job2.job
#job2.job
type=command
dependencies=job1
command=echo 'job2'
Job3.job
#job3.job
type=command
dependencies=job1
command=echo 'job3'
Job4.job
#job4.job
type=command
dependencies=job2,job3
command=echo 'job4'
三、多个脚本需要创建多个job
dependencies 依赖于哪个job文件,会在依赖的文件执行完再去执行
retries=1 ##失败的job的自动重试的次数
retry.backoff=10000 ##重试的间隔(毫秒)
2.将job资源文件打包成zip文件
jobs.zip
通过azkaban的web管理平台创建project并上传job压缩包
3.首先创建project
4.上传打好的zip包
5.启动执行或者调度该job
外面配置参数在.job文件里对应${参数名}
6.查看日志
在History–>对应的项目–>Job List–>Details
注意事项:
重新上传zip包会覆盖之前的包
把需要执行的zip包在机器上备份一下