第2节 azkaban调度:1、azkaban的调度任务使用

2.4 Azkaban实战

Azkaba内置的任务类型支持command、java

 

Command类型单一job示例

创建job描述文件

创建文本文件,更改名称为mycommand.job

注意后缀.txt一定不要带上,保存为格式为UFT-8 without bom

内容如下

type=command

command=echo 'hello world'

 

 

将job资源文件打包成zip文件

 

 

创建project并上传压缩包

通过azkaban的web管理平台创建project并上传job压缩包

首先创建project

 

上传zip包

 

启动执行job

 

 

Command类型多job工作流flow

1、创建有依赖关系的多个job描述

第一个job:foo.job

type=command

command=echo 'foo'

第二个job:bar.job依赖foo.job

type=command

dependencies=foo

command=echo 'bar'

 

2、将所有job资源文件打到一个zip包中

 

 

3、在azkaban的web管理界面创建工程并上传zip包

4、启动工作流flow

 

HDFS操作任务

1、创建job描述文件fs.job

type=command

command=/export/servers/hadoop-2.6.0-cdh5.14.0/bin/hadoop fs -mkdir /azkaban

2、将job资源文件打包成zip文件

 

3、通过azkaban的web管理平台创建project并上传job压缩包

4、启动执行该job

 

 

 

MAPREDUCE任务

Mr任务依然可以使用command的job类型来执行

1、创建job描述文件,及mr程序jar包(示例中直接使用hadoop自带的example jar)

type=command

command=/export/servers/hadoop-2.6.0-cdh5.14.0/bin/hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar pi 3 5

 

2、将所有job资源文件打到一个zip包中

 

 

3、在azkaban的web管理界面创建工程并上传zip包

4、启动job

HIVE脚本任务

l  创建job描述文件和hive脚本

Hive脚本: hive.sql

create database if not exists azhive;

use azhive;

create table if not exists aztest(id string,name string) row format delimited fields terminated by '\t';

Job描述文件:hive.job

type=command

command=/export/servers/hive-1.1.0-cdh5.14.0/bin/hive -f 'hive.sql'

 

将所有job资源文件打到一个zip包中

 

在azkaban的web管理界面创建工程并上传zip包

启动job

 

azkaban的定时任务

使用azkaban的scheduler功能可以实现对我们的作业任务进行定时调度功能

 

 

 

 

*/1 * ? * *  每分钟执行一次定时调度任务

0 1 ? * *  每天晚上凌晨一点钟执行这个任务

0 */2 ? * *  每隔两个小时定时执行这个任务

30 21 ? * * 每天晚上九点半定时执行这个任务

注:可以网上搜索在线crontab表达式生成器。

转载于:https://www.cnblogs.com/mediocreWorld/p/11087073.html

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值