Hue上的Oozie如何构建工作流和定时任务

本文介绍了如何在Hue上利用Oozie构建工作流和定时任务。Oozie是一个Java Web应用程序,用于协调Hadoop生态系统的任务。Hue则是一个提供Hadoop应用图形化界面的工具,支持HDFS、Hive、Solr等操作。通过Hue提交Oozie定时作业,包括创建工作流、定义Hive2 SQL任务,并设置协调器以按日执行。此外,文章还提到了Oozie的系统常量使用,以及解决时区问题的方法。
摘要由CSDN通过智能技术生成

Oozie是什么?

Oozie是一种Java Web应用程序,它运行在Java servlet容器——即Tomcat——中,并使用数据库来存储以下内容:

  • 工作流定义
  • 当前运行的工作流实例,包括实例的状态和变量

Hue是什么? 

Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口。

 Hue能干什么? 

1,访问HDFS和文件浏览 
2,通过web调试和开发hive以及数据结果展示 
3,查询solr和结果展示,报表生成 
4,通过web调试和开发impala交互式SQL Query 
5,spark调试和开发 
6,Pig开发和调试 
7,oozie任务的开发,监控,和工作流协调调度 
8,Hbase数据查询和修改,数据展示 
9,Hive的元数据(metastore)查询 
10,MapReduce任务进度查看,日志追踪 
11,创建和提交MapReduce,Streaming,Java job任务 
12,Sqoop2的开发和调试 
13,Zookeeper的浏览和编辑 
14,数据库(MySQL,PostGres,SQlite,Oracle)的查询和展示

提交oozie定时作业

 1、进入hue界面,点击workflows工作流,编辑workflows。

2、点击create创建工作流。

3、本文以hive2作业sql任务为例,拖拽hive2到action区域。

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值