hadoop学习之azkaban（5.1）：azkaban的使用及示例 标签： 任务调度hadoopazkaban脚本

• 目录视图
• 摘要视图
• 订阅

hadoop学习之azkaban（5.1）：azkaban的使用及示例 

标签： 任务调度hadoopazkaban脚本

2016-12-12 18:04  2392人阅读  评论(0)  收藏  举报

  分类：

hadoop（22）   azkaban（1） 

版权声明：本文为博主原创文章，未经博主允许不得转载。 http://blog.csdn.net/qq_32166627/article/details/53582587

上一章我们已经安装好了azkaban的web-server和execute-server，下面我们来使用阿兹卡班进行任务调度。

一，最简单的例子：执行单个命令

1，首先按格式写好脚本（linux/windows写都可以），然后打包成zip压缩格式的压缩包。

脚本名为 command.job（脚本名字以.job为扩展名，名字可随意），并打成压缩包command.zip（同样的，以.zip为扩展名，名字可随意）

[html]  view plain  copy

1. #command.job  
2. type=command  
3. command=echo "hello world"  

2，打开链接：https://node1:8443（ 注意：链接开头是https）
输入账号密码（都是admin），在上一章安装过程中，已经指定了admin用户，并赋予管理员权限。

3，点击右上角“Create Project”绿色按钮，新建一个工程。

4，进入工程后，点击右上角“Upload”蓝色按钮，选择第1步中的压缩文件，上传。

5，点击job文件右边的“Execute Flow”绿色按钮，然后出现执行选项，左下角“schedule”设置调度时间，右下角“Execute”立即执行，

执行完可在“Job List->detail" 里查看运行结果。

二，多个job之间存在依赖关系

1，首先创建4个job文件

command1.job

[html]  view plain  copy

1. type=command  
2. command=echo "hello"  

command2.job

[html]  view plain  copy

1. type=command  
2. dependencies=command1  
3. command=echo "jimmy"  

command3.job

[html]  view plain  copy

1. type=command  
2. dependencies=command1  
3. command=echo "hello word"  

command4.job

[html]  view plain  copy

1. type=command  
2. dependencies=command2,command3  
3. command=echo "hello everyone"  

2，将4个文件一起打包上传，再执行。可以看到其依赖关系如下：

那么，command1运行完后才运行command2和3，2和3运行完后才运行command4。

三，同上，可以写3条命令，依次启动zookeeper，hdfs和yarn。

只需按格式写job脚本，添加依赖即可。

四，执行hdfs shell命令，同理，只需修改command命令即可。

五，同样的，还可以运行mr程序，将mr程序打包（wc.jar），然后将命令脚本（hadoop jar wc.jar）和wc.jar打包在一起，上传运行即可。