Azkaban实战

Azkaba内置的任务类型支持command、java

Command类型单一job示例
1、创建job描述文件
vi command.job

command.job

type=command
command=echo ‘hello’

2、将job资源文件打包成zip文件
zip command.job

3、通过azkaban的web管理平台创建project并上传job压缩包
首先创建project

上传zip包

4、启动执行该job

Command类型多job工作流flow
1、创建有依赖关系的多个job描述
第一个job：foo.job

foo.job

type=command
command=echo foo
第二个job：bar.job依赖foo.job

bar.job

type=command
dependencies=foo
command=echo bar

2、将所有job资源文件打到一个zip包中

3、在azkaban的web管理界面创建工程并上传zip包
4、启动工作流flow

HDFS操作任务
1、创建job描述文件

fs.job

type=command
command=/home/hadoop/apps/hadoop-2.6.1/bin/hadoop fs -mkdir /azaz

2、将job资源文件打包成zip文件

3、通过azkaban的web管理平台创建project并上传job压缩包
4、启动执行该job

MAPREDUCE任务
Mr任务依然可以使用command的job类型来执行
1、创建job描述文件，及mr程序jar包（示例中直接使用hadoop自带的example jar）

mrwc.job

type=command
command=/home/hadoop/apps/hadoop-2.6.1/bin/hadoop jar hadoop-mapreduce-examples-2.6.1.jar wordcount /wordcount/input /wordcount/azout

2、将所有job资源文件打到一个zip包中

3、在azkaban的web管理界面创建工程并上传zip包
4、启动job
HIVE脚本任务
 创建job描述文件和hive脚本
Hive脚本： test.sql
use default;
drop table aztest;
create table aztest(id int,name string) row format delimited fields terminated by ‘,’;
load data inpath ‘/aztest/hiveinput’ into table aztest;
create table azres as select * from aztest;
insert overwrite directory ‘/aztest/hiveoutput’ select count(1) from aztest;
Job描述文件：hivef.job

hivef.job

type=command
command=/home/hadoop/apps/hive/bin/hive -f ‘test.sql’

2、将所有job资源文件打到一个zip包中
3、在azkaban的web管理界面创建工程并上传zip包
4、启动job