Azkaban 案例

多job工作流案例

创建有依赖关系的多个job描述

第一个job：1.job
[root@bigdata111 jobs]$ vi 1.job
type=command
command=/opt/module/hadoop-2.8.4/bin/hadoop fs -put /opt/module/datas/word.txt /
第二个job：2.job依赖1.job
[root@bigdata111 jobs]$ vi 2.job
type=command
command=/opt/module/hadoop-2.8.4/bin/hadoop jar /opt/module/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar wordcount /word.txt /out
dependencies=1

注意：将所有job资源文件打到一个zip包中

在azkaban的web管理界面创建工程并上传zip包

思考：
将student.txt文件上传到hdfs，根据所传文件创建外部表，再将表中查询到的结果写入到本地文件

---

java操作任务

使用Azkaban调度java程序
编写java程序

mport java.io.FileOutputStream;
import java.io.IOException;


public class AzkabanTest {
public void run() throws IOException {
// 根据需求编写具体代码
FileOutputStream fos = new FileOutputStream("/opt/module/azkaban/output.txt");
fos.write("this is a java progress".getBytes());
fos.close();
}


public static void main(String[] args) throws IOException {
AzkabanTest azkabanTest = new AzkabanTest();
azkabanTest.run();
}
}

将java程序打成jar包，创建lib目录，将jar放入lib内
mkdir lib
cd lib/

编写job文件
vi azkabanJava.job

#azkabanJava.job
type=javaprocess
java.class=AzkabanTest(全类名)
classpath=/opt/module/azkaban/lib/*

将job文件打成zip包
azkabanJava.zip azkabanJava.job

通过azkaban的web管理平台创建project并上传job压缩包，启动执行该job
cat /opt/module/azkaban/output.txt

---

HDFS操作任务

1.创建job描述文件
vi hdfs.job

#hdfs job
type=command
command=/opt/module/hadoop-2.8.4/bin/hadoop fs -mkdir /azkaban

2.将job资源文件打包成zip文件
zip fs.zip fs.job

3.通过azkaban的web管理平台创建project并上传job压缩包
4.启动执行该job
5.查看结果

---

mapreduce任务

mapreduce任务依然可以使用azkaban进行调度
1）创建job描述文件，及mr程序jar包
vim mapreduce.job

#mapreduce job
type=command
command=/opt/module/hadoop-2.8.4/bin/hadoop jar /opt/module/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar wordcount /wordcount/input /wordcount/output

2）将所有job资源文件打到一个zip包中
zip mapreduce.zip mapreduce.job

3）在azkaban的web管理界面创建工程并上传zip包
4）启动job
5）查看结果

---

Hive脚本任务

创建job描述文件和hive脚本

（1）Hive脚本：student.sql
[itstar@bigdata111 jobs]$ vim student.sql
use default;
drop table student;
create table student(id int, name string)
row format delimited fields terminated by '\t';
load data local inpath '/opt/module/datas/student.txt' into table student;
insert overwrite local directory '/opt/module/datas/student'
row format delimited fields terminated by '\t'
select * from student;
（2）Job描述文件：hive.job
[itstar@bigdata111 jobs]$ vim hive.job
#hive job
type=command
command=/opt/module/hive/bin/hive -f /opt/module/azkaban/jobs/student.sql

2）将所有job资源文件打到一个zip包中
3）在azkaban的web管理界面创建工程并上传zip包
4）启动job
5）查看结果