Mac 系统基于jdk1.8编译hadoop2.7.4和hadoop2.8.1

一:准备工作 

1:jdk1.8版本

2:maven3.5.0版本

3:hadoop2.7.4或者hadoop2.8.1

4:protobuf2.5.0

5:cmake

6:openssl 跟 snappy

二:搭建编译环境

1:Mac上安装jdk1.8(傻瓜式操作,不懂得可以百度)

2:配置java环境变量

 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_144.jdk/Contents/Home

 export PATH=$JAVA_HOME/bin:$PATH

3:解压maven包

4:配置maven环境变量

export MAVEN_HOME=/Users/shihaolin/opt/sourcecode/apache-maven-3.5.0

export PATH=$MAVEN_HOME/bin:$PATH

5:安装protobuf2.5.0(建议百度或者谷歌查一下,安装完成后终端输入protoc --version


出现这个就安装成功了)

6:安装cmake

 6.1:mac上可以采取brew install cmake的方式直接下载

 6.2:如果新电脑没有brew这个命令就在终端输入:ruby -e "$(curl --insecure -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

安装成功后可以执行brew install cmake 下载cmake(如果不会的可以百度hombrew安装)

7:安装openssl跟snappy

 7.1:brew install openssl 安装成功后再brew install snappy

8:终端找到hadoop家目录下面是我的例子


然后执行

mvn clean package -Pdist,native -DskipTests -Dtar

如果最后出现SUCCESS就表明成功。

三:编译错误解决

1:在安装cmake后编译出现下面错误

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (make) on project hadoop-pipes: An Ant BuildException has occured: exec returned: 1
[ERROR] around Ant part ...<exec failοnerrοr="true" dir="/Users/shihaolin/opt/software/hadoop-2.7.4-src/hadoop-tools/hadoop-pipes/target/native" executable="cmake">... @ 5:140 in /Users/shihaolin/opt/software/hadoop-2.7.4-src/hadoop-tools/hadoop-pipes/target/antrun/build-main.xml

这个错误我当时花费了很长时间才解决,下面是解决方式

1:终端执行

cmake  /Users/shihaolin/opt/software/hadoop-2.7.4-src/hadoop-tools/hadoop-pipes/src/ -DJVM_ARCH_DATA_MODEL=64

执行成功后

2:打开配置Java环境变量的地方

3:添加下面两行(具体根据自己电脑上的openssl安装版本还有文件地址配置)

export OPENSSL_ROOT_DIR=/usr/local/Cellar/openssl/1.0.2l

export OPENSSL_INCLUDE_DIR=/usr/local/Cellar/openssl/1.0.2l/include

4:记住修改环境变量后一定要执行立即生效命令,然后再执行

cmake  /Users/shihaolin/opt/software/hadoop-2.7.4-src/hadoop-tools/hadoop-pipes/src/ -DJVM_ARCH_DATA_MODEL=6

这个如果执行成功后再执行

mvn clean package -Pdist,native -DskipTests -Dtar

5:坐等编译成功

6:以上是我在Mac系统上编译hadoop2.7.4的方法步骤以及错误解决,当然编译过程中还有一些其他的小问题我就不一一列举出来了,我举的例子是我觉得最坑的一个。



评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值