Azkaban的使用

使用azkaban在hdfs创建一个文件夹

1. 创建一个文本编辑
   type:command
   command=/opt/hadoop/hadoop-2.8.4/bin/hdfs dfs -mkdir /azkaban
   保存，把文件名改成 hdfs.job
   压缩成zip格式的压缩包
2. 在azkaban的web界面下，创建项目，项目名为hdfs
   upload hdfs.job

当任务变绿后，说明执行成功，hdfs成功创建了azkaban这个目录

使用azkaban启动多个任务

1)写两个文本，分布
test:
type=command
command=echo ‘haha’

tt:
type=command
dependencies=test
command=echo “miemie”

在tt这里通过dependencies指定依赖于谁，按顺序执行
2)打包提交到azkaban
3)先执行 test
再执行 tt

用azkaban启动hdfs和yarn

starthdfs.job:

type:command
command= /opt/hadoop/hadoop-2.8.4/sbin/start-dfs.sh

startyarn.job:
type=command
dependencies=starthdfs
command=/opt/hadoop/hadoop-2.8.4/sbin/start-yarn.sh

用azkaban完成hive任务

创建一个表，读入本地文件，并计算有多少条记录然后输出到本地文件

hivef.job：

type=command
command=/opt/hive/hive/bin/hive -f 'hive.sql'

hive.sql：

use default;
drop table testazk;
create table testazk(id int,name string)
row format
delimited fields
terminated by '\t';
load data local inpath '/root/itstar.txt' into table testazk;
create table atestazk as select * from testazk;
insert overwrite local directory '/root/data' select count(*) from testazk;

用azkaban完成mapreduce任务

mr.job:
type=command
command=/opt/hadoop/hadoop-2.8.4/bin/hadoop jar hadoop-mapreduce-examples-2.8.4.jar wordcount /azwc/in /azwc/out

hadoop-mapreduce-examples-2.8.4.jar

把这两个一起打包上传