1、环境准备
centos7 、maven-3.6.1、jdk1.8.0、apache-ant-1.9.9 、 protobuf-2.5.0、 hadoop-2.9.2-src
将maven-3.6.1、jdk1.8.0、apache-ant-1.9.9 、 protobuf-2.5.0的压缩包下载好,解压到指定的目录其中protobuf-2.5.0需要重新 编译
安装gcc编译器和make构建,cmake使用3以上的版本:
yum install glibc-headers
yum install gcc-c++
yum install make
yum install cmake
编译protobuf
./configure
make
make check
make install
ldconfig
安装openssl库
yum install openssl-devel
yum install ncurses-devel
将上述编译工具添加到环境变量中
解压hadoop源码,进入源码目录,执行编译命令
mvn package -Pdist,native -DskipTests -Dtar
编译可能遇到的问题
解决:下载亚马逊jar包,安装到本地maven仓库
wget https://s3-us-west-2.amazonaws.com/dynamodb-local/release/com/amazonaws/DynamoDBLocal/1.11.86/DynamoDBLocal-1.11.86.jar
mvn install:install-file -Dfile=DynamoDBLocal-1.11.86.jar -DgroupId=com.amazonaws -DartifactId=DynamoDBLocal -Dversion=1.11.86 -Dpackaging=jar
编译后的hadoop压缩包位置