oozie4.3.0安装过程(支持python spark action)

oozie4.3.0安装过程


因本人工作环境需要用到oozie的spark action，oozie4.2.0不支持workflow工作流目录lib子目录下的jar包自动加载，故采用oozie-master的源码（版本为oozie 4.3.0-SNAPSHOT），
同时为使oozie spark action支持python文件，本人修改了若干源码，将在后面加以说明

1、安装环境

centos: 6.6
jdk:    1.8.0_25
maven:  3.3.9
hadoop: 2.6.0
spark:  1.6.0

为安装方便，使用root账户

2、打包
2.1）maven安装和配置
下载maven3.3.9

mkdir ~/download   
cd ~/download
wget http://apache.opencas.org/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz
tar -zxvf apache-maven-3.3.9-bin.tar.gz -C /opt/
mv /opt/apache-maven-3.3.9 /opt/mavan

将maven的bin目录加入path变量
在/etc/profile增加两行，

export MAVEN_HOME=/opt/maven
export PATH=$PATH:$MAVEN_HOME/bin

保存退出后执行命令：

source /etc/profile

修改maven setting.xml, 使用开源中国的镜像，加快速度（该镜像不是很全，若发现某些库被屏蔽了建议修改mirrorOf项，这里不用关心）

<mirror>
      <id>nexus-osc</id>
      <name>OSChina Central</name>                                                                             
      <url>http://maven.oschina.net/content/groups/public/</url>
      <mirrorOf>*</mirrorOf>
</mirror>

2.2）下载安装pig
下载pig

cd ~/download
wget http://archive.apache.org/dist/pig/pig-0.13.0/pig-0.13.0.tar.gz
tar -zxvf pig-0.13.0.tar.gz -C /opt/
mv /opt/pig-0.13.0 /opt/pig

将pig的bin目录加入path变量
在/etc/profile增加两行，

export PIG_HOME=/opt/pig
export PATH=$PATH:$PIG_HOME/bin

2.3）下载oozie的master(为4.3.0-SNAPSHOT源码，解压)

cd ~/download
git https://github.com/apache/oozie.git
cd oozie

2.4）修改主目录中的pom.xml,有以下位置要改：

       <targetJavaVersion>1.8</targetJavaVersion>
       <hadoop.version>2.6.0</hadoop.version>
       <hadoop.majorversion>2</hadoop.majorversion>
       <pig.version>0.13.0</pig.version>
       <maven.javadoc.opts>-Xdoclint:none</maven.javadoc.opts>
       <spark.version>1.6.0</sp