Oozie 任务调度

工作流数据

Hue的任务是基于工作流的调度,我们创建一个包含 Hive script 脚本的工作流,其中具体脚本内容如下所示:

create database if not exists hive_db;
show databases;
use hive_db;
show tables;
create table if not exists hive_test (a int, b string);
show tables;
insert into hive_test select 1, "test";
select * from hive_test;

将上面脚本内容保存到hive_test.sql脚本文件中,并上传到hdfs目录/tmp/目录下;另外Hive工作流还需要一个hive-site.xml 配置文件,此配置文件路径在:/usr/hdp/2.6.1.0-129/hive/conf/hive-site.xml下,同时将改配置文件上传到hdfs目录/tmp/目录下。

创建工作流

1.在Hue页面的上方,选择Workflow,具体如下图所示。

1.png

2.在工作流编辑页面中拖一个 Hive Script。

2.png

3.选择上传到hdfs上的hive_test.sql脚本文件和hive-site.xml 配置文件。

3.png

4.单击 Add 后,还需在 FILES 中指定 hive script 文件。

4.png

5.单击右上角保存,然后单击执行,运行 workflow。

5.png

创建定时任务

Hue是支持定时任务调度的,有点类似于crontab执行命令,该定时任务支持的调度粒度可以到分钟级别。

1.在Hue页面的上方,选择Schedule,具体如下图所示。

1.png

2.选择一个创建好的工作流,然后选择需要调度的时间、时间间隔、时区、调度任务的开始时间及结束时间,然后单击保存和执行,具体如下所示。

2.png

3.最后在Workflows、Schedulers 的监控页面可以查看任务调度执行情况。

3.png

下一篇:MapReduce简介

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI周红伟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值