How-to: Use the ShareLib in Apache Oozie



http://blog.sina.com.cn/s/blog_63874ea80102ux2z.html

１.                                 从网上下载oozie安装包，下载路径为http://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.0.1.tar.gz，上传文件到服务器，例如上传到/home/hadoop/local目录下

２.                                 进入/home/hadoop/local目录,运行 tar oozie-4.0.0-cdh5.0.1.tar.gz命令，解压文件

３.                                 进入oozie程序根目录下的bin目录，依次运行以下命令：

./addtowar.sh -inputwar /home/hadoop/local/oozie-4.0.0-cdh5.0.1/oozie.war -outputwar /home/hadoop/local/oozie-4.0.0-cdh5.0.1/oozie-server/webapps/oozie.war -hadoop 2.3.0 ${HADOOP_HOME} -extjs /home/hadoop/local/oozie-4.0.0-cdh5.0.1/ext-2.2.zip

 

./ooziedb.sh create -sqlfile oozie.sql

 

./oozie-setup.sh db create -run –sqlfile　/home/hadoop/local/oozie-4.0.0-cdh5.0.1/bin/oozie.sql

 

./oozie-setup.sh sharelib create -fs hdfs://master:8020 -locallib /home/hadoop/local/oozie-4.0.0-cdh5.0.1/oozie-sharelib-4.0.0-cdh5.0.1-yarn.tar.gz

４.                                 进oozie程序根目录下的conf目录，修改oozie-site.xml文件，主要是两个属性需要修改，１）oozie.services属性，将oozie.services属性值中org.apache.oozie.service.JobsConcurrencyService类的次序调致第一个。

2) oozie.service.HadoopAccessorService.hadoop.configurations 属性，将其值调整为　*=/home/hadoop/local/hadoop-2.3.0-cdh5.0.1/etc/Hadoop

５.进入bin目录下，执行./oozie-start.sh 致些，oozie启动成功

６.安装的过程中主要的问题在于sharelib包无法加载的问题，这个问题的处理方法如下：　

１）检测sharelib包是否已经加入到hadoop文件系统中，执行hadoop fs –ls /user/Hadoop/share/lib　查看sharelib包是否存在

２）检查　oozie 与　Hadoop 的对接配置是否正确，主要是检查上面第四步中的oozie.service.HadoopAccessorService.hadoop.configurations 属性，其值为　*=/home/hadoop/local/hadoop-2.3.0-cdh5.0.1/etc/Hadoop，其值所指向的目录是否是hadoop的配置文件目录，如果没有配置正常，则会报/user/Hadoop/share/lib文件找不到错误

３）检查oozie.services属性是否确置正常，主要是org.apache.oozie.service.JobsConcurrencyService类的次序是否已调致第一个，如果没有，则会报在oozie的后台目录中会报NullPointerException错误。

7.修改/etc/hadoop/mapred-site.xml 增加以下内容

  yarn.app.mapreduce.am.staging-dir
  /user

            /etc/hadoop/yarn-site.xml
将配置注释掉
 

8. 在hdfs上创建/user/history

===============

http://mirrors.hust.edu.cn/apache/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.tar.gz