Oozie安装配置完整教程

---

前言

Oozie的整个安装配置流程是较为繁琐复杂的（相比其他Hadoop框架），但这篇教程会每步写的很详细，大家只要跟着我的教程一步一步走，都能安装配置成功。我这里配置的版本是CDH5.3.6下的Oozie4.0.0版本，大家如果用来学习可以往下看我会贴上编译好的安装包下载链接。

---

一、Oozie的简介

Oozie是一个工作流引擎服务器，用于运行hadoop map/reduce和hive等任务工作流，同时Oozie还是一个Java web程序，运行在Java Servlet容器中，如Tomcat中。Oozie以action为基本任务单元，可以将多个action构成一个DAG图，（有向五环图Direct Acyclic Graph）的模式进行运行。Oozie工作流通过HPDL(一种通过XML自定义处理的语言)来构造Oozie的工作流。

一个Oozie服务器主要包括四个服务：Oozie Workflow,Oozie Coordinator,Oozie Bundle和Oozie SLA(Oozie服务器等级协定)。
　　a、Oozie Workflow:该组件用于定义和执行一个特定顺序的mapreduce,hive和pig作业。
　　b、Oozie Coordinator:该组件用户支持基于事件，系统资源存在性等条件的workflow的自动化执行。
　　c、Oozie Bundle:该引擎可以定义和执行“一束”应用，从而提供一个批量化的方法，将一组Coordinator应用程序一起进行管理。
　　d、Oozie服务器等级协定（Service Level Agreement,SLA）:该组件支持workflow应用程序执行过程的记录跟踪。

二、Oozie的下载

https://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.3.6.tar.gz
这是cloudera官方的下载地址，这个1G左右的是编译好的安装包，一定要下这种，几M的那种都是需要复杂的编译的，大家如果有网盘会员也可以从我这里下载，很快。

链接：https://pan.baidu.com/s/1gubqfgk2OPLoOZPw37OAgw
提取码：qkwq

下载好后直接tar -zxvf 文件名解压即可。

三、Oozie的安装

1.添加Hadoop权限

前面提到Oozie实际上底层跑的仍然使MapReduce程序，那么我们需要让它在Hadoop上拥有运行的权限，打开Hadoop目录下的core-site.xml添加如下代码:

	<property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>hadoop</value>
    </property>
	<property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>

这里实际上是为Oozie在Hadoop上创建了一个代理用户，其中注意第二行的root改为自己启动Oozie的用户名，下面那个root同理。

还有就是将第一个property的value改为自己的主机名。

2.配置驱动包

进入Oozie安装目录下，按照官方文档指导我们需要解压一个驱动压缩包，tar -zxvf oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz解压至当前目录下。可以看到目录中多了oozie-4.0.0-cdh5.3.6这个文件夹，我们进入后看到有hadooplibs目录即可。

我们进一步深入发现里面有两个目录，后一个是支持MR1.0的我们的2.0版本就不需要了，进入第一个文件夹可以看到里面许多jar包

接下来在Oozie的安装目录下创建一个名为libext的文件夹，并将这些包拷贝进去。

cp -r oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6/* libext/

做完这步还没有完成，如果我们需要使用ExtJS也就是控制台的话（我们一定需要）还需要把它拷贝到libext/下，这里我直接给大家贴上链接，下载好放进去就OK。
链接：https://pan.baidu.com/s/18GojIcCXGFZ_aIiA4bK29A
提取码：z09h

3.启动准备

接下来我们还需要做一些启动前的准备，共四步。

a. 创建备用war包

“prepare-war [-d directory]” command is for creating war files for oozie with an optional alternative directory other than libext.

意思是我们需要把这些jar包压入一个war包中作为替补驱动目录。
那我们直接敲入bin/oozie-setup.sh prepare-war等待它完成即可。

完成后它还提示我们放入了webapps这个目录中。

b. 将sharelib上传到HDFS

执行bin/oozie-setup.sh sharelib create -fs hdfs://hadoop:9000 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz
其中hdfs的地址需要结合自己机器名和端口修改一下

我们看到它给我们放到了HDFS的/user/root/share/lib/lib_20201219193237下面，这个目录是按时间创建的，他会自动默认使用最新的目录，从hdfs上进入目录我们可以看到Oozie所调度的hadoop框架的用到的jar包它都给我们放到了这个目录下。

c.创建Oozie数据库

直接使用bin/ooziedb.sh create -sqlfile oozie.sql -run DB Connection命令然后命令行会回馈给你四个Done然后就创建好了一个oozie.sql文件。

d.配置oozie-site.xml

最后一项我们要进入oozie的conf目录下找到这个文件修改这一项设置，

我们需要把这个value配置成我们Hadoop的配置文件的目录，否则Oozie会读取不到我们Hadoop的环境配置。

四、Oozie启动测试

经过了漫长的配置，请大家确保之前每一步都没有出错，接下来我们启动Ooziebin/oozied.sh start

启动成功我们看到它告诉我们前端的端口号为11000，我们进入web界面查看：

这就是Oozie的web前端界面，至此安装配置完成。

---

总结

以上就是oozie的详细的安装配置教程，关于oozie或者大数据的其他内容大家可以翻阅我的其他博客，有什么问题欢迎在评论区指出，我会挨个回复。