安装前准备
安装hadoop,可参考文章:https://blog.csdn.net/lucylove3943/article/details/80589422
不需要pig, hive, spark等等。就follow这两篇blog,一切搞定。
一些必要的安装工作
Maven安装
进入maven 下载页面:https://maven.apache.org/download.cgi,下载maven
我是把下载的文件放在了/home文件夹下,直接解压:
tar -xzvf apache-maven-3.5.3-bin.tar.gz
然后修改~/.bash_profile:
export M2_HOME=/home/ubuntu/apache-maven-3.5.3
export PATH=$PATH:$M2_HOME/bin
同样的,修改完之后source一下:
source ~/.bash_profile
用以下代码测试一下安装是否成功:
mvn -version
安装mysql
安装mysql server,命令行输入:
sudo apt-get install mysql-server
安装的时候会让你输入root账户的密码,这个就是之后登陆mysql的密码。安装mysql client,命令行输入:
sudo apt install mysql-client
安装相关lib包:
sudo apt install libmysqlclient-dev
下载需要的包
我看到网上很多下载都需要积分,我打包了所有我自己单独下载的包,传了一份到百度网盘。
链接: https://pan.baidu.com/s/1BImAWQeWIyrPjiiLupE6OQ 密码: 1m7p
这里面一共有5个包,其中mysql-connector-java-8.0.11.jar和ext-2.2.zip是之后oozie要用到的,之后再说怎么用。
另外三个包:网上有人建议把这三个包放在maven里面,后面oozie才能编译成功。我也不太确定我是否真的用上了,不过为了以防万一,我就这么办了。简单来说,就是把这三个包放在目录:apache-maven-3.5.3/lib/目录下。
下载编译oozie
进入oozie官网:http://oozie.apache.org, 我下载的是4.3.1版。
下载之后解压:
tar -xzvf oozie-4.3.1.tar.gz
进入目录,修改pox.xml文档:
vim pom.xml
因为我之前的hadoop装的是2.6.5,所以我就修改成了2.6.5。下一步就是编译oozie了,我看网上挺多编译教程的,感觉大家都挺坎坷的,反正用如下的代码我挺顺利的,如果有遇见什么问题,可以google一下其他人怎么解决的。输入如下命令,然后就是漫长的等待:
bin/mkdistro.sh