安装和配置 Oozie

实验题目

安装和配置 Oozie

实验要求

在Linux平台上安装和配置Oozie，本文使用ubuntu进行的实验。

实验步骤

1.创建名为Oozie的新的group。

2.添加oozie用户到oozie group。

3.下载Oozie安装文件。

4.解压oozie文件。

5.构建Distro

使用命令oozie-3.3.1./bin/mkdistro.sh –DskipTests

这一步是在下载相关的jar包，最后会打包成一个新的文件，oozie-3.3.1-distro.tar.gz。

但是因为国内网络问题，以及有的连接已经失效的问题，这一步总是报错。

下不下来jar文件，最终导致运行失败。

最后在群友的建议下，下载已经打包好jar包的oozie-3.3.2-cdh4.3.0.tar.gz进行安装。

6.设定oozie的拥有者

sudo chown -R oozie:oozie /home/wcbdd/apache/oozie-3.3.2-cdh4.3.0

7.设定环境变量

export OOZIE_HOME=/home/wcbdd//apache/oozie-3.3.2-cdh4.3.0

export HADOOP_HOME=/home/wcbdd/apache/hadoop-1.0.4

8.下载ext-2.2.1.zip并解压。

使用该命令进行操作：sudo -u oozie wget http://dev.sencha.com/deploy/ext-2.2.1.zip &&
unzip ext-2.2.1.zip -d ext-2.2.1

由于执行时总是permission denied，我自己下了个ext-2.2.1.zip，并解压到了oozie文件夹中。

解压后oozie文件夹的内容：

9.为oozie添加jar文件

$sudo -u oozie ./bin/oozie-setup.sh -hadoop 0.20.2 $HADOOP_HOME -extjs /home/wcbdd/apache/oozie-3.3.2-cdh4.3.0/bin/ext-2.2.1 -jars "$HADOOP_HOME/lib/commons-configuration-1.6.jar $HADOOP_HOME/lib/jackson-core-asl-1.8.8.jar:$HADOOP_HOME/lib/jackson-mapper-asl-1.8.8.jar"

10.建立数据库

$sudo -u oozie ./bin/ooziedb.sh create -sqlfi le /home/wcbdd/apache/oozie-3.3.2-cdh4.3.0/bin/oozie.sql –run

11.编辑hdfs-site.xml文件添加属性

gedit /home/wcbdd/apache/hadoop-1.0.4/conf/hdfs-site.xml

12.启动oozie服务器

sudo /home/wcbdd/apache/oozie-3.3.2-cdh4.3.0/bin/oozie-start.sh 

13.检查oozie状态。

14.访问localhost：11000查看oozie

15.更新Hadoop/conf中的core-site.xml文件。

16.将oozie导入到hadoop中。

cd $OOZIE_HOME
sudo -u oozie tar xvfz oozie-sharelib-3.3.1.tar.gz
$HADOOP_HOME/bin/hadoop dfs -put share share

总结：

至此，oozie安装完毕。从周一到现在，可算是装好了。

安装过程中问题很多，百度不断学习各种命令，最终解决了问题。