oozie 4.3.0 编译安装

Oozie的编译：

系统需求：

Unix box (tested on Mac OS X and Linux)

Java JDK 1.7+

Maven 3.0.1+

Hadoop 0.20.2+

Pig 0.7+

 

JDK commands (java, javac) must be in the command path.

The Maven command (mvn) must be in the command path.

 

Java安装：省略

Maven的安装：

1、解压maven的zip包:

[root@hadoop01 home]# mv /usr/local/apache-maven-3.3.9/ /usr/local/maven-3.3.9

2、配置环境变量

[root@hadoop01 home]# vi /etc/profile

[root@hadoop01 home]# source /etc/profile

3、测试maven是否安装ok

 Hadoop的安装：省略

 

Pig的安装：

1、解压pig:

 2、配置环境变量：

[root@hadoop01 local]# source /etc/profile

3、测试是否安装ok

Oozie的解压编译：

1、oozie的解压

2、配置环境变量：

[root@hadoop01 ~]# source /etc/profile

3、编译oozie的oozie-4.3.0-distro.tar.gz的包：

编译命令如下：

[root@hadoop01 oozie-4.3.0]# mkdistro.sh -DskipTests -Phadoop-2 -Dhadoop.auth.version=2.7.1 -Ddistcp.version=2.7.1

注意编译命令后面有很多组件版本，请注意版本匹配问题和默认的版本。很容易在中央仓库中找不到对应版本的jar包。

编译完成后:

编译是一个漫长过程，如果有jar包或者插件丢失都可以试图删掉后重新下载，或者手动下载，如果网络不行那试图自己下载搭建本地服务器。

 

Oozie server的安装：

1、将编译好的jar包copy到/home目录

2、将编译之前的oozie目录给删除或者重命名备份以便下次重新编译：

 

3、将编译好的jar包oozie-4.3.0-distro.tar.gz解压到/user/local目录：

4、配置conf/oozie-site.xml：(mysql的安装忽略)

<!--mysql作为元数据存放的数据库-->

<property>

    <name>oozie.service.JPAService.jdbc.driver</name>

    <value>com.mysql.jdbc.Driver</value>

</property>

<!--mysql的连接路径-->

<property>

    <name>oozie.service.JPAService.jdbc.url</name>

    <value>jdbc:mysql://192.168.216.111:3306/oozie</value>

</property>

<!--mysql的用户名-->

<property>

    <name>oozie.service.JPAService.jdbc.username</name>

    <value>root</value>

</property>

<!--mysql的用户名所对应的密码-->

<property>

    <name>oozie.service.JPAService.jdbc.password</name>

    <value>root</value>

</property>

<!--hadoop的配置文件的路径-->

<property>

    <name>oozie.service.HadoopAccessorService.hadoop.configurations</name>

    <value>*=/usr/local/hadoop-2.7.1/etc/hadoop/</value>

</property>

<!--Spark的配置文件的路径,有则配置，没有则不用

<property>

    <name>oozie.service.SparkConfigurationService.spark.configurations</name>

    <value>*=/opt/spark-1.4.0-bin-hadoop2.6-hive/conf</value>

</property>-->

<!--

设置系统库存放在hdfs中，注意只有在job.properties中将设置oozie.use.system.libpath=true才会引用系统库

。注意，下面ns1是namenode的逻辑名称，根据自己集群的情况进行更改即可-->

<property>

    <name>oozie.service.WorkflowAppService.system.libpath</name>

    <value>hdfs://qianfeng/user/${user.name}/share/lib</value>

</property>

5、在hadoop的配置文件./etc/hadoop/core-site.xml中追加配置oozie代理用户:

    <property>

        <name>hadoop.proxyuser.root.hosts</name>

        <value>root</value>

    </property>

    <property>

        <name>hadoop.proxyuser.root.groups</name>

        <value>root</value>

</property>

注意：在hadoop.proxyuser.root.groups的值改成*,也是可以运行的。

然后再将配置好的core-site.xml配置文件重新分发给集群中的每台主机，并需要重新启动hadoop的集群。

6、在/usr/local/oozie-4.3.0目录下创建一个libext目录，并在/usr/local/hadoop-2.7.1目录下使用以下命令将Hadoop下的所有jar包复制到libext目录中：find -name *.jar |xargs -t -i cp {} /usr/local/oozie-4.3.0/libext。注意：需要将libext中的hsqldb-2.0.0.jar删掉，否则会引起jar包冲突。

命令如下：

[root@hadoop01 oozie-4.3.0]# mkdir libext

[root@hadoop01 oozie-4.3.0]# find /usr/local/hadoop-2.7.1 -name *.jar |xargs -t -i cp {} /usr/local/oozie-4.3.0/libext

[root@hadoop01 oozie-4.3.0]# rm -rf ./libext/hsqldb-2.0.0.jar

 

7、将下载好的ext-2.2.zip以及mysql驱动包(例如:mysql-connector-java-5.1.32.jar)复制到libext目录下。

[root@hadoop01 oozie-4.3.0]# cp /home/ext-2.2.zip /home/mysql-connector-java-5.1.38.jar /usr/local/oozie-4.3.0/libext/

 

8、执行下面的命令,将ext2.2.0.zip、hadoop的相关jar包、以及mysql-connector-java-<版本>.jar、htrace-core-<版本>.jar、avro-<版本>.jar 打进新war包里：

addtowar.sh -inputwar oozie.war  -outputwar oozie-server/webapps/oozie.war -hadoop 2.7.1 /usr/local/hadoop-2.7.1 -extjs libext/ext-2.2.zip -jars /usr/local/oozie-4.3.0/libext/mysql-connector-java-5.1.38.jar:/usr/local/oozie-4.3.0/libext/htrace-core-3.1.0-incubating.jar:/usr/local/oozie-4.3.0/libext/avro-1.7.4.jar

注意: htrace-core和avro这两个jar包不加的话，后面提交job时会出错！并且执行了上面这句后，就不能再执行./bin/oozie-setup.sh prepare-war 了，否则替换掉oozie-server/webapps/中已经生成的oozie.war

 

8、如果还没有安装mysql,那么需要安装一个mysql。安装好后,在mysql数据库中创建名为oozie的数据库(注意:oozie-site.xml中有个配置项oozie.service.JPAService.create.db.schema,默认值为false,表示非自动创建数据库,所以我们需要自己创建oozie数据库),并进行访问授权,然后在/usr/local/oozie-4.3.0下执行：

ooziedb.sh create -sqlfile oozie.sql -run

查看oozie数据库，如果产生了以下的表，就说明该步骤OK

 

 

注意：如果执行以上语句报错:Caused by: java.lang.ClassNotFoundException: org.w3c.dom.ElementTraversal

以上的简单解决办法如下:

[root@hadoop01 oozie-4.3.0]# cp ./libext/xml-apis-1.4.01.jar /usr/local/jdk1.8.0_152/jre/lib/ext/

 

9、安装oozie-sharelib：

将/usr/local/oozie-4.3.0/oozie-sharelib-4.3.0.tar.gz解压到安装目录:

[root@hadoop01 oozie-4.3.0]# tar -zxvf /usr/local/oozie-4.3.0/oozie-sharelib-4.3.0.tar.gz

 

将mysql-connector-java-5.1.38.jar复制到/opt/oozie-4.3.0/share/lib/sqoop目录中。如果没有这个jar，将不能从mysql将数据导入或导出。

[root@hadoop01 oozie-4.3.0]# cp ./libext/mysql-connector-java-5.1.38.jar ./share/lib/sqoop/

 

将这个share上传到hdfs上：

[root@hadoop01 oozie-4.3.0]# hdfs dfs -put /usr/local/oozie-4.3.0/share /user/root

注意:与oozie-site.xml中的oozie.service.WorkflowAppService.system.libpath的值保持一致，所以必须放到/user/root这个目录下。

10、使用以下命令启动oozie服务：

[root@hadoop01 oozie-4.3.0]# ./bin/oozie-start.sh

11、使用以下命令验证服务是否启动成功，

[root@hadoop01 oozie-4.3.0]# oozie admin -oozie http://localhost:11000/oozie -status

如果是System model:Normal，表明启动成功，否则失败。

 

12、查看是否可以通过浏览器访问web页面：

http://192.168.216.111:11000/oozie/

 

 

Oozie4.3 Client安装

Oozie server 安装中已经包括了Oozie client。如果想要在其他机子上也使用Oozie，那么只要在那些机子上安装Oozei的client即可。

所需环境：

Unix (tested in Linux and Mac OS X)

Java 1.7+

开始安装

1、4.3.0中有一个oozie-client-4.3.0.tar.gz,将它复制到需要安装oozie client的机子上并解压：

[root@hadoop01 oozie-4.3.0]# tar -zxvf ./oozie-client-4.3.0.tar.gz -C /usr/local/

这时在/usr/local下有一个oozie-client-4.3.0

2、添加环境变量：

注意：上面还可以添加一个环境变量，export OOZIE_URL=http://hadoop01:11000/oozie这样在后面的oozie job这个命令中就不需要加 -oozie了

 

Oozie example:

1、在/usr/local/oozie-4.3.0下有一个oozie-examples.tar.gz 。将它进行解压，解压之后生成一个examples目录。在该目录的apps中有一些简单的例子：

[root@hadoop01 oozie-4.3.0]# tar -zxvf ./oozie-examples.tar.gz

2、在运行这些例子之前，需要对这些例子进行一些修改，例如我们运行shell这个例子。

 

先来查看一下job.properties的内容：

[root@hadoop01 oozie-4.3.0]# vi ./examples/apps/shell/job.properties

注意:这些例子中JobTracker 都是localhost:8021，NameNode 都是hdfs://localhost:8020 。这是hadoop1的端口。我们需要根据自己集群的情况，对它做相应的修改。我现在的hadoop集群是2.7.1版本的。并且NameNode和ResourceManager都是HA的。

3、将examples这个文件上传到hdfs中的/user/${user.name} 中，我采用的是root这个用户，所以是/user/root。

[root@hadoop01 oozie-4.3.0]# hdfs dfs -put ./examples/ /user/root

4、执行以下命令运行

注意： -oozie 后面跟的是oozie server的地址，-config后面跟的是执行的脚本，除了在hdfs上要有一份examples，在本地也需要一份。这个命令中的/usr/local/oozie-4.3.0/examples/apps/shell/job.properties 是本地路径的job.properties，不是hdfs上的。

[root@hadoop01 oozie-4.3.0]# oozie job -oozie http://hadoop01:11000/oozie -config ./examples/apps/shell/job.properties -run

job: 0000004-180121211627000-oozie-root-W

4、查看oozie的任务信息(或者用浏览器查看):

[root@hadoop01 oozie-4.3.0]# oozie job -oozie http://hadoop01:11000/oozie -info 0000004-180121211627000-oozie-root-W

 

5、查看任务的日志：

[root@hadoop01 oozie-4.3.0]# oozie job -oozie http://hadoop01:11000/oozie -log 0000004-180121211627000-oozie-root-W

 

6、杀死任务：

[root@hadoop01 oozie-4.3.0]# oozie job -oozie http://hadoop01:11000/oozie -kill 0000004-180121211627000-oozie-root-W