从头开始 手把手 oozie 安装配置 with an example

本文详细介绍了如何从零开始安装配置Oozie,包括Maven和MySQL的安装,Hadoop配置,Oozie的下载、编译和配置,创建数据库和用户,打包上传,以及运行示例MapReduce任务。文章提供了每一步的操作指南,适合初学者参考。
摘要由CSDN通过智能技术生成

安装前准备

    安装hadoop,可参考文章:https://blog.csdn.net/lucylove3943/article/details/80589422

    不需要pig, hive, spark等等。就follow这两篇blog,一切搞定。    

 

一些必要的安装工作

    Maven安装

            进入maven 下载页面:https://maven.apache.org/download.cgi,下载maven

   

        我是把下载的文件放在了/home文件夹下,直接解压:

 tar -xzvf apache-maven-3.5.3-bin.tar.gz 

       然后修改~/.bash_profile:

export M2_HOME=/home/ubuntu/apache-maven-3.5.3
export PATH=$PATH:$M2_HOME/bin

       同样的,修改完之后source一下:

source ~/.bash_profile

    用以下代码测试一下安装是否成功:

mvn -version

 

    安装mysql

 

    安装mysql server,命令行输入:

sudo apt-get install mysql-server

    安装的时候会让你输入root账户的密码,这个就是之后登陆mysql的密码。安装mysql client,命令行输入:

sudo apt install mysql-client

    安装相关lib包:

sudo apt install libmysqlclient-dev

    下载需要的包

        我看到网上很多下载都需要积分,我打包了所有我自己单独下载的包,传了一份到百度网盘。

        链接: https://pan.baidu.com/s/1BImAWQeWIyrPjiiLupE6OQ 密码: 1m7p

        这里面一共有5个包,其中mysql-connector-java-8.0.11.jar和ext-2.2.zip是之后oozie要用到的,之后再说怎么用。

        另外三个包:网上有人建议把这三个包放在maven里面,后面oozie才能编译成功。我也不太确定我是否真的用上了,不过为了以防万一,我就这么办了。简单来说,就是把这三个包放在目录:apache-maven-3.5.3/lib/目录下。

 

下载编译oozie

    进入oozie官网:http://oozie.apache.org, 我下载的是4.3.1版。

    下载之后解压:

tar -xzvf oozie-4.3.1.tar.gz 

    进入目录,修改pox.xml文档:

vim pom.xml 

    因为我之前的hadoop装的是2.6.5,所以我就修改成了2.6.5。下一步就是编译oozie了,我看网上挺多编译教程的,感觉大家都挺坎坷的,反正用如下的代码我挺顺利的,如果有遇见什么问题,可以google一下其他人怎么解决的。输入如下命令,然后就是漫长的等待:

bin/mkdistro.sh 
评论 14
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值