转载oozie基础入门

引入

对于我们的工作，可能需要好几个hadoop作业（job）来协作完成，往往一个job的输出会被当做另一个job的输入来使用，这个时候就涉及到了数据流的处理。

我们不可能就盯着程序，等它运行完再去运行下一个程序，所以，一般的做法就是通过shell来做，但是如果涉及到的工作流很复杂（比方说有1,2,3,4四个作业，1的输出作为2 3 4的输入，然后2 3的结果运算之后再和1的结果进行某种运算……最后再输出）是很费时费力的。这里就用到了oozie——一个能把多个MR作业组合为一个逻辑工作单元（一个工作流），从而自动完成任务调用的工具。

备注：oozie本质就是一个作业协调工具（底层原理是通过将xml语言转换成mapreduce程序来做，但只是在集中map端做处理，避免shuffle的过程。），所以我对它的暂时的定位就是会用，能解决问题就行，暂时没有进行深入研究。

关于控制台

Oozie是有web界面提供的，可以直接进行web操作，后期方便又实用，但是这里有个坑，通过添加服务打开的web界面上面显示如下图：

具体的解决办法见下图圈住的。必须下载Ext-2.2.zip文件，但是这个文件在官网上是需要付费下载的，而且国内的CSDN都需要付费下载，找了好久才找到。

下载好的文件安装包之后通过 unzip命令将zip解压到“/var/lib/oozie/目录下（unzip ext-2.2.zip -d /var/lib/oozie/），然后在CM的网页界面配置中启用web控制台，见如下图：
重启完成之后控制台界面如下图：
地址为：OozieserverIp：11000/oozie/ （OozieserverIp为oozie所在的服务器的ip地址）

主要概念

Oozie主要有三个主要概念，分别是workflow，coordinator，bundle。

Workflow：工作流，由我们需要处理的每个工作组成，进行需求的流式处理。

Coordinator：协调器，可以理解为工作流的协调器，可以将多个工作流协调成一个工作流来进行处理。

Bundle： 捆，束。将一堆的coordinator进行汇总处理。

简单来说，workflow是对要进行的顺序化工作的抽象，coordinator是对要进行的顺序化的workflow的抽象，bundle是对一堆coordiantor的抽象。层级关系层层包裹。

网上找了一幅图来描述oozie各个组件之间的关系。

关于oozie的作业

这一段应该是工具使用的大头，但是关于这部分网上的资料很多，这里也是做一个入门级的介绍。Oozie的作业有三部分组成，分别是job.properties，workflow.xml，lib文件夹。下面分别介绍

Job.properties：从名称也能看出来，这个文件是用来配置作业（job）中用到的各种参数的，总结如下

nameNode

hdfs地址

jobTracker

jobTracker（ResourceManager）地址

queueName

Oozie队列（默认填写default）

examplesRoot

全局目录（默认填写examples）

oozie.usr.system.libpath

是否加载用户lib目录（true/false）

oozie.libpath

用户lib库所在的位置

oozie.wf.application.path

Oozie流程所在hdfs地址（workflow.xml所在的地址）

user.name

当前用户

Coordinator：oozie.coord.application.path

Coordinator.xml地址（没有可以不写）

Bundle：oozie.bundle.application.path

Bundle.xml地址（没有可以不写）

注：1、这个文件如果是在本地通过命令行进行任务提交的话，这个文件在本地就可以了，当然也可以放在hdfs上，与workflow.xml和lib处于同一层级。

2、nameNode，jobTracker和workflow.xml在hdfs中的位置必须设置。

   eg：启动任务

   ooziejob -oozie http://oozieServerIp:11000/oozie/-config job.properties-run

一个简单的job.properties文件如下：

   Shell节点的job.properties文件：

nameNode=hdfs://cm1:8020

jobTracker=cm1:8032

queueName=default

examplesRoot=examples

oozie.wf.application.path=${nameNode}/user/workflow/oozie/shell

workflow.xml： 这个文件是定义任务的整体流程的文件，需要注意的有三点：版本信息，EL函数，节点信息。

版本信息如下：

< workflow-app xmlns=“uri:oozie:workflow:0.4” name="$ {sys_name}-MonitorPlus-Task-${task_id}">

在xmls属性中定义了workflow的版本为0.4，workflow的版本不能高于oozie兼容的最高版本，可以降低。

EL函数：但凡涉及到“$ { }”这样的符号基本都是EL函数，花括号中写的是需要的函数信息。当然，如果是在job.properties中设置的常量也可以通过EL函数取出来，例如“${nameNode}”。常用的EL函数有基本的EL函数，workFlow EL函数和HDFSEL函数。分别如下：![在这里插入图片描述](https://img-blog.csdnimg.cn/20191106170142517.png



节点：Oozie的节点分成两种，流程控制节点和动作节点。所谓的节点实际就是一组标签。两种节点分别如下：

n 流程控制节点

u < start />——定义workflow的开始

u < end />——定义workflow的结束

u < decision />——实现switch功能

< switch>标签连用

u < sub-workflow>——调用子workflow

u < kill />——程序出错后跳转到这个节点执行相关操作

u < fork />——并发执行workflow

u < join />——并发执行结束（与fork一起使用）
n 动作节点

u < shell />——表示运行的是shell操作

u < java />——表示运行的java程序

u < fs />——表示是对hdfs进行操作

u < MR />——表示进行的是MR操作

u < hive />——表示进程的是hive操作

u ——表示进行的是sqoop的相关操作

Workflow.xml综述
文件需要被放在HDFS上才能被oozie调度，如果在启动需要调动MR任务，jar包同样需要在hdfs上。最终的目录结构如下：

l /xxx/oozie/workflow.xml

l /xxx/oozie/lib

l /xxx/oozie/lib/mr-1.7-SNAPSHOT-package.jar

l /xxx/oozie/lib/xxx.mr-1.7-SNAPSHOT-package.jar

Lib文件夹

在workflow工作流定义的同级目录下，需要有一个lib目录，在lib目录中存在java节点MapReduce使用的jar包。需要注意的是，oozie并不是使用指定jar包的名称来启动任务的，而是通过制定主类来启动任务的。在lib包中绝对不能存在某个jar包的不同版本，不能够出现多个相同主类。

Oozie Cli命令：

这个是oozie的客户端使用的关于oozie job的命令，总结如下

l 启动任务

oozie job -oozie oozie_url -config job.properties_address-run

l 停止任务

oozie job -oozie oozie_url -kill jobId -oozie-oozi-W

l 提交任务

oozie job -oozie oozie_url -config job.properties_address -submit

l 开始任务

oozie job -oozie oozie_url -config job.properties_address -startJobId -oozie-oozi-W

l 查看任务执行情况

oozie job -oozieoozie_url -config job.properties_address -info jobId -oozie-oozi-W

说明： 所有的命令都是以oozie job -oozie oozie_url 开头的-config 制定job.properties文件夹的位置，-run 文件启动后会返回一个唯一的jobId，供之后使用。

启动任务，提交任务，开始任务的区别：

   提交任务是指将任务提交给oozie但是并不运行，也会返回一个唯一的jobId。 -submit

   开始任务是将提交的任务执行。-start

   启动任务=提交任务+开始任务

————————————————。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
原文链接：https://blog.csdn.net/weixin_39198774/article/details/79412726