记一次Hadoop安装

本文详细记录了在CentOS7.6系统上安装Hadoop3.2.1的过程,包括java、maven、protobuf、boost、cmake、node.js等依赖的安装,以及解决编译过程中遇到的JAVA_HOME配置问题和依赖版本匹配问题。最终成功编译并分享了宝贵的经验,希望对读者有所帮助。
摘要由CSDN通过智能技术生成

1.安装好 java, maven, protocolbuf, boost, cmake, node.js

java安装:

yum install -y java

maven安装:

wget https://mirrors.bfsu.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz

protocolbuf安装:较为麻烦,需要先下protocolbul编译器,并且需要2.5.0版本,现在已经在官网没有了,这是别的网友的网盘
网盘下载:https://pan.baidu.com/s/1pJlZubT

boost安装:

wget https://dl.bintray.com/boostorg/release/1.72.0/source/boost_1_72_0.tar.gz

cmake安装:
官网:https://cmake.org/download/

2.安装依赖 autoconf、automake、cmake、libtool、gcc-c++ zlib*、libssl*、openssl、openssl-devel、cyrus-sasl-devel、doxygen

yum install -y autoconf automake cmake libtool gcc-c++ zlib* libssl* openssl openssl-devel cyrus-sasl-devel doxygen

3.安装hadoop

wget https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

解压后进入目录

mvn clean package -Pdist,native -DskipTests -Dtar

或者

mvn clean install -DskipTests
mvn package -Pdist -Pnative -Dtar -DskipTests

注意,java如果是yum安装,不是源码安装,需要修改hadoop-common下面的pom.xml,把javah的路径填写完整
在这里插入图片描述

因为源配置里面是${env.JAVA_HOME},是一个变量,如果不是源码安装,或者进行过/etc/profile中的JAVA_HOME变量设置,这边会报错:
在这里插入图片描述

如果用的ali maven源,可能会出现版本号不匹配,找不到的情况,把ali maven源配置删掉即可,用原来的maven源

编译中出现如下cmake问题
在这里插入图片描述

往上翻,其实是JAVA_HOME配置问题
在这里插入图片描述
最后修改完JAVA_HOME,之后再编译,成功
在这里插入图片描述
装了一天多时间,一开始采用别的网友的安装教程,但是出现了很多坑,有的是依赖版本不匹配,也有缺依赖的情况,查了很多资料,最后把我装成功的步骤分享出来,希望能帮到有需要的人。

最后提一嘴,我装的Hadoop版本为3.2.1,系统是CentOS 7.6。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值