azkaban2提交任务
介绍
azkaban2定义工作流以job文件结尾,如wordcount.job
具体可参考http://blog.csdn.net/gloria__zhang/article/details/8715719这里做了详细介绍.
实例
以hadoop wordcount 为例.
流程如下:
先将数据上传至hdfs中
执行统计1
执行统计2、统计3
执行统计4
如上流程所知,需要5个job配置文件,具体如下:
upload.job
# upload.job
type=command #运行方式,以sh命令方式执行
command=hadoop fs -put upload/rpfarewell /suncf/input
wordcount1.job
#wordcount1
type=command #运行方式,以sh命令方式执行
command=hadoop jar wordcount.jar wordcount /suncf/input /suncf/out1
dependencies=upload #上级执行job
wordcount2.job
type=command #运行方式,以sh命令方式执行
command=hadoop jar wordcount.jar wordcount /suncf/input /suncf/out2
dependencies=wordcount1 #上级执行job
wordcount3.job
type=command
command=hadoop jar wordcount.jar wordcount /suncf/input /suncf/out3
dependencies=wordcount1 #上级执行job
wordcount4
type=command
command=hadoop jar wordcount.jar wordcount /suncf/input /suncf/out4
dependencies=wordcount2,wordcount3 #上级执行job,有多个时,用逗号分隔
1.将编写好的job文件,连同程序运行的jar包放至同一目录.
2.压缩成zip格式文件,目前azkaban只支持 zip格式.当然也可以修改源代码
3.在azkaban web页面,创建一个项目后,点击 uplaod按钮,选择刚才打好包的zip文件,将会出现一个清淅的工作流,如下图:
点击任一节点进入
4.点击schedule/Execute Flow按钮,
此界面可以配置一些任务的相关信息,如:成功后发送邮件、失败后发送邮件.发邮件的功能需要在配置文件中指定邮件服务器.
点击 execute 可执行当前任务
点击schedule 可以定时执行任务
还有一些其它的功能,搭建成功后可以做一些适当操作.此处不一一举例