工作流数据
Hue的任务是基于工作流的调度,我们创建一个包含 Hive script 脚本的工作流,其中具体脚本内容如下所示:
create database if not exists hive_db;
show databases;
use hive_db;
show tables;
create table if not exists hive_test (a int, b string);
show tables;
insert into hive_test select 1, "test";
select * from hive_test;
将上面脚本内容保存到hive_test.sql脚本文件中,并上传到hdfs目录/tmp/
目录下;另外Hive工作流还需要一个hive-site.xml
配置文件,此配置文件路径在:/usr/hdp/2.6.1.0-129/hive/conf/hive-site.xml
下,同时将改配置文件上传到hdfs目录/tmp/
目录下。
创建工作流
1.在Hue页面的上方,选择Workflow,具体如下图所示。
2.在工作流编辑页面中拖一个 Hive Script。
3.选择上传到hdfs上的hive_test.sql
脚本文件和hive-site.xml
配置文件。
4.单击 Add 后,还需在 FILES 中指定 hive script 文件。
5.单击右上角保存,然后单击执行,运行 workflow。
创建定时任务
Hue是支持定时任务调度的,有点类似于crontab执行命令,该定时任务支持的调度粒度可以到分钟级别。
1.在Hue页面的上方,选择Schedule,具体如下图所示。
2.选择一个创建好的工作流,然后选择需要调度的时间、时间间隔、时区、调度任务的开始时间及结束时间,然后单击保存和执行,具体如下所示。
3.最后在Workflows、Schedulers 的监控页面可以查看任务调度执行情况。