一、Oozie 简介
Oozie 英文翻译为:驯象人。一个基于工作流引擎的开源框架,由 Cloudera 公司贡献给Apache,提供对 Hadoop Mapreduce、Pig Jobs 的任务调度与协调。Oozie 需要部署到 Java Servlet 容器中运行。主要用于定时调度任务,多任务可以按照执行的逻辑顺序调度。
二、Oozie 的功能模块介绍
2.1、模块
1)Workflow
顺序执行流程节点,支持 fork(分支多个节点),join(合并多个节点为一个)
2)Coordinator
定时触发 workflow
3)Bundle Job
绑定多个 Coordinator
2.2、常用节点
1)控制流节点(Control Flow Nodes)
控制流节点一般都是定义在工作流开始或者结束的位置,比如 start,end,kill 等。以及提供工作流的执行路径机制,如 decision,fork,join 等。
2)动作节点(Action Nodes)
负责执行具体动作的节点,比如:拷贝文件,执行某个 Shell 脚本等等。
三、Oozie 的部署
3.1、部署
3.1.1、解压 Oozie
tar -zxf /home/hadoop/tools/oozie-4.0.0-cdh5.3.6.tar.gz -C ../install
3.1.2、修改 Hadoop 配置(原来学习的基础上添加如下内容)
core-site.xml
<!-- Oozie Server 的 Hostname -->
<property>
<n