单一job案例
1.创建job描述文件
- vim job1.job
#first.job
type=command
command=echo 'this is my first job'
2.将job资源文件打包成zip文件
- 安装zip,unzip命令
yum install -y unzip zip
- 压缩
zip job1.zip job1.job
- Azkaban上传的工作流文件只支持xxx.zip文件,zip应包含xxx.job运行作业所需的文件和任何文件(文件名后缀必须是.job,否则无法识别),作业名称在项目中必须是唯一的
3.通过azkaban的web管理平台创建project并上传job的zip包
- 创建project
- 上传zip包
- 启动执行该job
- Job执行成功
- 点击查看job日志
多job工作流案例
1.创建job描述文件
- 第一个job:start.job
vim start.job
#start.job
type=command
command=touch /usr/local/azkaban/jobs/t2test.txt
- 第二个job:step1.job依赖start.job
vim step1.job
#step1.job
type=command
dependencies=start
command=echo "this is step1 job"
- 第三个job:step2.job依赖start.job
vim step2.job
#step2.job
type=command
dependencies=start
command=echo "this is step2 job"
- 第四个job:finish.job依赖step1.job和step2.job
vim finish.job
#finish.job
type=command
dependencies=step1,step2
command=echo "this is finish job"
2.将job资源文件打包成zip文件
- zip jobs.zip start.job step1.job step2.job finish.job
3.通过azkaban的web管理平台创建project并上传job的zip包
Java操作任务
1.编写java程序
import java.io.FileOutputStream;
import java.io.IOException;
public class AzkabanTest {
public void run() throws IOException {
FileOutputStream fos = new FileOutputStream("/usr/local/azkaban/t3test.txt");
fos.write("this is a java progress".getBytes());
fos.close();
}
public static void main(String[] args) throws IOException {
AzkabanTest azkabanTest = new AzkabanTest();
azkabanTest.run();
}
}
2.java程序打成jar
- 生成class文件
- jar -cvf AzkabanTest.jar AzkabanTest.class
- 移动到linux内
- 试运行
java -jar AzkabanTest.jar
3.编写job
- vim java.job
type=javaprocess
java.class=AzkabanTest
classpath=/usr/local/azkaban/jobs/t3/jar/*
4.将job打成zip
- zip java.zip java.job
5.web操作
HDFS操作任务
1.创建job描述文件
- vim fs.job
type=command
command=/usr/local/hadoop-2.7.1/bin/hadoop fs -mkdir /azkaban
2.将job资源文件打包成zip文件
zip fs.zip fs.job
3.web操作
MapReduce任务
1.创建job描述文件
- vim mapreduce.job
#mapreduce job
type=command
command=/usr/local/hadoop-2.7.1/bin/hadoop jar /usr/local/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /wordcountinput /wordcountinputazkaban
2.将job资源文件打包成zip文件
zip mapreduce.zip mapreduce.job
3.web操作