Oozie的安装部署(配CDH版hadoop)

一：oozie的简介：
Oozie是一种Java Web应用程序，它运行在Java servlet容器——即Tomcat中，并使用数据库来存储以下内容：
1.工作流定义。
2.当前运行的工作流实例，包括实例的状态和变量。
3.Oozie与Hadoop生态圈的其他部分集成在一起，支持多种类型的Hadoop作业（ map-reduce、Hive、Sqoop等）以及特定于系统的工作（如Java程序和shell脚本）。

Oozie工作流是放置在控制依赖DAG（有向无环图 Direct Acyclic Graph）中的一组动作（例如，Hadoop的Map/Reduce作业），其中指定了动作执行的顺序。我们会使用hPDL（一种XML流程定义语言）来描述这个图。

二：oozie的功能模块和节点
1.模块

1. Workflow
   顺序执行流程节点，支持fork（分支多个节点），join（合并多个节点为一个）
2. Coordinator
   定时触发workflow
3. Bundle Job
   绑定多个Coordinator

2.常用节点：

1. 控制流节点（Control Flow Nodes）
   控制流节点一般都是定义在工作流开始或者结束的位置，比如start,end,kill等。以及提供工作流的执行路径机制，如decision，fork，join等。

1. 流程控制节点(action)  
2. <start />——定义workflow的开始  
3. <end />——定义workflow的结束  
4. <decision />——实现switch功能<switch><case /><default /></switch>标签连用  
5. <sub-workflow>——调用子workflow  
6. <kill />——程序出错后跳转到这个节点执行相关操作  
7. <fork />——并发执行workflow  
8. <join />——并发执行结束（与fork一起使用） 

2. 动作节点（Action Nodes）
   负责执行具体动作的节点，比如：拷贝文件，执行某个Shell脚本等等

由于Oozie需要和其他框架有着良好的兼容性，为了后续的方便，我们这里在原有Apache版的hadoop情况下，在部署一个CDH版本的hadoop

三：CDH版本的hadoop简单部署：
(注意：本节内容是建立在我上次搭建Apache原生的hadoop下搭建的，因为在上次的搭建类似于jdk之类的我都安装了，https://blog.csdn.net/weixin_44080445/article/details/106009359，然后在上篇博客中的关于Apache版本的hadoop转移到本篇博客)

1.在hadoop102上面的/opt/module下新建一个cdh目录

2.将/opt/software下的cdh版本的hadoop解压到/opt/module/cdh中
[root@hadoop102 software]# tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz -C /opt/module/cdh/
然后我们在这一步顺便将Oozie解压到/opt/module中
[root@hadoop102 software]# tar -zxvf oozie-4.0.0-cdh5.3.6.tar.gz -C /opt/module/

3.配置/opt/module/cdh/hadoop-2.5.0-cdh5.3.6/etc/hadoop目录下的hadoop-env.sh、mapred-env.sh , yarn-env.sh , core-site.xml , hdfs-site.xml , mapred-site.xml.template , yarn-site.xml,slaves这8个文件。

先echo $JAVA_HOME找到自己的jdk安装路径
[root@hadoop102 hadoop]# echo $JAVA_HOME
/opt/module/jdk1.8.0_144

1)hadoop-env.sh的配置,将实际的jdk路径填入替换一下

2)配置mapred-env.sh，开头的注释去掉，然后填入jdk实际路径

3)配置yarn-env.sh，开头的注释去掉，然后填入jdk实际路径

4)core-site.xml
在 里面填入下列内容,注意Oozie Server的Hostname和允许被Oozie代理的用户组我配置都是root用户，假如你的是xxx用户那就相应的修改一下。

<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defau