Azkaban 2.5使用

Azkaban 2.5使用文档

一、介绍

1.azkaban使用时，需要配置一个job文件，文件中设置job类型以及job执行的脚本或者任务。
2.如果执行的是脚本，还需要将脚本和job文件一起打成一个zip包，上传到azkaban中。
3.azkaban的job文件中，type支持多种类型
command：Linux shell命令行任务
gobblin：通用数据采集工具
hadoopJava：运行hadoopMR任务
java：原生java任务
hive：支持执行hiveSQL
pig：pig脚本任务
spark：spark任务
hdfsToTeradata：把数据从hdfs导入Teradata
teradataToHdfs：把数据从Teradata导入hdfs
一般都只是使用cammand形式，因为脚本中可以编写更加灵活的任务方式，比在azkaban中调用要灵活很多很多，维护管理也更加熟悉一些。

二、Command类型命令job示例

1.创建job描述文件

Job1.job
#job1.job
type=command
command=echo 'job1'

Job2.job
#job2.job
type=command
dependencies=job1
command=echo 'job2'

Job3.job
#job3.job
type=command
dependencies=job1
command=echo 'job3'


Job4.job
#job4.job
type=command
dependencies=job2,job3
command=echo 'job4'

三、多个脚本需要创建多个job

dependencies 依赖于哪个job文件，会在依赖的文件执行完再去执行
retries=1 ##失败的job的自动重试的次数
retry.backoff=10000 ##重试的间隔（毫秒）

2.将job资源文件打包成zip文件
jobs.zip
通过azkaban的web管理平台创建project并上传job压缩包
3.首先创建project

4.上传打好的zip包

5.启动执行或者调度该job

外面配置参数在.job文件里对应${参数名}

6.查看日志
在History–>对应的项目–>Job List–>Details

注意事项：
重新上传zip包会覆盖之前的包
把需要执行的zip包在机器上备份一下