Oozie部署

本文详细介绍了Oozie,一个由Cloudera贡献给Apache的Hadoop作业调度器,用于管理和协调MapReduce、Pig等任务。文章涵盖Oozie的功能模块,包括Workflow、Coordinator和Bundle Job,以及Oozie的部署步骤,涉及配置Hadoop,安装Oozie,创建数据库,初始化服务以及启动和访问Oozie Web界面。
摘要由CSDN通过智能技术生成

一、Oozie 简介
Oozie 英文翻译为:驯象人。一个基于工作流引擎的开源框架,由 Cloudera 公司贡献给Apache,提供对 Hadoop Mapreduce、Pig Jobs 的任务调度与协调。Oozie 需要部署到 Java Servlet 容器中运行。主要用于定时调度任务,多任务可以按照执行的逻辑顺序调度。
二、Oozie 的功能模块介绍
2.1、模块
1)Workflow
顺序执行流程节点,支持 fork(分支多个节点),join(合并多个节点为一个)
2)Coordinator
定时触发 workflow
3)Bundle Job
绑定多个 Coordinator
2.2、常用节点
1)控制流节点(Control Flow Nodes)
控制流节点一般都是定义在工作流开始或者结束的位置,比如 start,end,kill 等。以及提供工作流的执行路径机制,如 decision,fork,join 等。
2)动作节点(Action Nodes)
负责执行具体动作的节点,比如:拷贝文件,执行某个 Shell 脚本等等。
三、Oozie 的部署
3.1、部署
3.1.1、解压 Oozie

 tar -zxf /home/hadoop/tools/oozie-4.0.0-cdh5.3.6.tar.gz -C  ../install

3.1.2、修改 Hadoop 配置(原来学习的基础上添加如下内容)
core-site.xml

<!-- Oozie Server 的 Hostname -->
<property>
<n
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值