oozie 概要

最新推荐文章于 2020-12-22 22:53:48 发布

大数据东哥(Aidon)

最新推荐文章于 2020-12-22 22:53:48 发布

阅读量904

点赞数

分类专栏：大数据文章标签： oozie 架构 oozie 提交流程 oozie作用 oozie的流程

大数据专栏收录该内容

14 篇文章 0 订阅

订阅专栏

oozie相关概念介绍:

Oozie is a workflow scheduler system to manage Apache Hadoop jobs.

Oozie Workflow jobs are Directed Acyclical Graphs (DAGs) of actions.

Oozie Coordinator jobs are recurrent Oozie Workflow jobs triggered by time (frequency) and data availability.

Oozie is integrated with the rest of the Hadoop stack supporting several types of Hadoop jobs out of the box (such as Java map-reduce, Streaming map-reduce, Pig, Hive, Sqoop and Distcp) as well as system specific jobs (such as Java programs and shell scripts).

Oozie is a scalable, reliable and extensible system.

　一个Oozie的job，是一个mapreduce程序，特殊点呢，仅仅是只有Map Task。

Oozie是用于 Hadoop 平台的开源的工作流调度引擎。
　　是用来管理Hadoop作业。
　　是属于web应用程序，由Oozie client和Oozie Server两个组件构成。
Oozie Server运行于Java Servlet容器（Tomcat）中的web程序。

　　Oozie起源于雅虎，主要用于管理与组织Hadoop工作流。Oozie的工作流必须是一个有向无环图，实际上Oozie就相当于Hadoop的一个客户端，当用户需要执行多个关联的MR任务时，只需要将MR执行顺序写入workflow.xml，然后使用Oozie提交本次任务，Oozie会托管此任务流。

hPDL语法定义的工作流:

<workflow-app xmlns="uri:oozie:workflow:0.3" name="shell-wf">
<start to="shell-node"/>
<action name="shell-node">
<shell xmlns="uri:oozie:shell-action:0.1">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
</property>
</configuration>
<exec>echo</exec>
<argument>hi shell in oozie</argument>
</shell>
<ok to="end"/>
<error to="fail"/>
</action>
<kill name="fail">
<message>Map/Reduce failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="end"/>
</workflow-app>

　Oozie简介

　　现实业务中处理数据时不可能只包含一个MR操作，一般都是多个MR，并且中间还可能包含多个Java或HDFS，甚至是shell的操作，利用Oozie可以完成这些任务。

实际上Oozie不是仅用来配置多个MR工作流的，它可以是各种程序夹杂在一起的工作流，比如执行一个MR1后，接着执行一个java脚本，再执行一个shell脚本，接着是Hive脚本，然后又是Pig脚本，最后又执行了一个MR2，使用Oozie可以轻松完成这种多样的工作流。使用Oozie时，若前一个任务执行失败，后一个任务将不会被调度。

工作流调度框架Oozie

工作流

　　　　import ->

　　　　hive -> export

调度

　　　　作业 / 任务定时执行

　　　　事件触发执行

　　　　　　时间（比如说。每天晚上10点到凌晨2点之间，没半个小时运行一次。比如说，每周五的晚上8点触发一次）

　　　　　　数据集（比如说。某个目录文件下有数据，就触发一次）

Oozie概述 001.png-27.3kB

Oozie is a workflow scheduler system to manage Apache Hadoop jobs.

Oozie Workflow jobs are Directed Acyclical Graphs (DAGs) of actions.

Oozie Coordinator jobs are recurrent Oozie Workflow jobs triggered by time (frequency) and data availabilty.

Oozie is a scalable, reliable and extensible system.

　　1,一个基于工作流引擎的开源框架，是由Cloudera公司贡献给Apache的，它能够提供对Hadoop Mapreduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。

　　2，Oozie工作流定义，同Jboss jBPM提供的jPDL一样，提供了类似的流程定义语言hPDL,通过XML文件格式来实现流程的定义。对于工作流系统，一般会有很多不同功能的节点，比如分支，并发，汇合等等。

　　3，Oozie定义了控制流节点（Control Flow Nodes）和动作节点（Action Nodes）,其中控制流节点定义了流程的开始和结束，以及控制流程的执行路径（Execution Path）,如decision,fork,join等;而动作节点包括Haoop map-reduce hadoop文件系统，Pig,SSH,HTTP,eMail和Oozie子流程

Oozie Server Architecture

Oozie Server Components

Oozie的作用：
　　1、统一调度hadoop系统中常见的mr任务启动、 hdfs操作、 shell调度、 hive操作等
　　2、使得复杂的依赖关系、时间触发、事件触发使用xml语言进行表达，开发效率提高
　　3、一组任务使用一个DAG来表示，使用图形表达流程逻辑更加清晰
　　4、支持很多种任务调度，能完成大部分hadoop任务处理
　　5、程序定义支持EL常量和函数，表达更加丰富

　　Oozie是一个开源的工作流调度系统，它能够管理逻辑复杂的多个Hadoop作业，按照指定的顺序将其协同运行起来。

例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：

1、通过Hadoop先将原始数据同步到HDFS上；
2、借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；
3、需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；
4、将明细数据进行复杂的统计分析，得到排序后的报表信息；
5、需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。

　　上述过程可以通过工作流系统来编排任务，最终生成一个工作流实例，然后每天定时启动运行这个实例即可。
　　在这种依赖于Hadoop存储和处理能力要求的应用场景下，Oozie可能能够简化任务调度和执行。

　　Oozie的主要功能包括：组织各种工作流（包括Pig、Hive等），以规定方式执行工作流（包括定时任务、定数任务、数据促发任务等），托管工作流（包括命令行接口，任务失败时的通知机制，如邮件通知等）

　　由于，需要存储工作流信息，为提高可靠性，确保任务配置不丢失，Oozie内部使用数据库来存储工作流相关信息，用户可以使用Oozie内嵌的Derby数据库，也可以使用MySQL、PostgreSQl、Orcale等数据库。

Oozie的架构图：