什么是Oozie——大数据任务调度框架

最新推荐文章于 2025-03-20 10:27:03 发布

TNTZS666

最新推荐文章于 2025-03-20 10:27:03 发布

阅读量2.6w

点赞数 8

分类专栏：大数据学习文章标签： Oozie workflow coordinator 任务调度框架

本文链接：https://blog.csdn.net/TNTZS666/article/details/81915820

版权

大数据学习专栏收录该内容

16 篇文章

订阅专栏

本文详细介绍了Oozie作为大数据协作框架之一，在任务调度、协调HadoopMapReduce和PigJobs方面的作用。Oozie需要部署于JavaServlet容器，并支持与Azkaban、Zeus等类似功能的框架竞争。主要功能包括工作流定义、定时触发和BundleJob整合，通过hPDL流程定义语言实现。工作流系统包含控制流节点和动作节点，覆盖Hadoop、Pig、SSH、HTTP等多种操作。Oozie提供详细的配置指南和CLI命令，用于启动、停止、提交和监控任务执行情况。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Oozie简介

Oozie是大数据四大协作框架之一——任务调度框架，另外三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue。
它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。
Oozie需要部署到Java Servlet容器中运行。
功能相似的任务调度框架还有Azkaban和Zeus。

Oozie三大功能模块

这里写图片描述

从图中不难看出，Oozie主要有三大功能模块构成：

workflow(工作流)：定义job任务执行。
Coordinator：定时触发workflow，周期性执行workflow
Bundle Job：绑定多个coordinator，一起提交或触发所以coordinator

Oozie工作流

Oozie工作流定义，同JBoss jBPM提供的jPDL一样，也提供了类似的流程定义语言hPDL，通过XML文件格式来实现流程的定义。对于工作流系统，一般都会有很多不同功能的节点，比如分支、并发、汇合等等。
Oozie定义了控制流节点（Control Flow Nodes）和动作节点（Action Nodes），其中控制流节点定义了流程的开始和结束，以及控制流程的执行路径（Execution Path），如decision、fork、join等；而动作节点包括Hadoop map-reduce、Hadoop文件系统、Pig、SSH、HTTP、eMail和Oozie子流程。
oozie本质就是一个作业协调工具（底层原理是通过将xml语言转换成mapreduce程序来做，但只是在集中map端做处理，避免shuffle的过程。）

这里写图片描述