如何编译Hadoop

编译Hadoop

在集群搭建的过程中有时候我们需要自己来编译自己集群的hadoop，原因常常有两个，一是避免因集群环境不同造成的一些错误和警告，二是一些基于源码的改动。

编译步骤

1.安装jdk

解压jdk安装包到指定目录
执行：tar -zxvf jdk-8u171-linux-x64.tar.gz -C /cloud/java
配置环境变量
执行：vim /etc/profile
#在行尾添加

export JAVA_HOME=/cloud/java/jdk1.8.0_171
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

保存退出
执行：source /etc/profile
测试：java -version 查看java版本，能够正确打印版本号说明配置成功

2.安装所需环境

yum -y install gcc*
yum -y install cmake
yum -y install glibc-headers
yum -y install gcc-c++
yum -y install zlip-devel
yum -y install openssl-devel
yum -y install svn
yum -y install git
yum -y install ncurses-devel
yum -y install lzo-devel
yum -y install autoconf
yum -y install libtool
yum -y install automake

3.安装maven

4.配置环境变量

export JAVA_HOME=/data/java/jdk1.8.0_171
export CLASSPATH=$JAVA_HOME/lib
export MAVEN_HOME=/data/maven/apache-maven-3.5.4
export ANT_HOME=/data/ant/apache-ant-1.10.4
export FINDBUGS_HOME=/data/findbugs/findbugs-3.0.1
export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin:$ANT_HOME/bin:\$FINDBUGS_HOME/bin

5.安装ant

6.安装findbugs

7.安装proto

tar -zxvf protobuf-2.5.0.tar.gz
cd /usr/soft/protobuf-2.5.0
./configure –prefix=/usr/soft/protobuf-2.5.0
make
make install

8.解压hadoop源码

tar -zxvf hadoop-2.6.1-src.tar.gz

9.开始编译

$cd hadoop-2.6.1-src$ mvn clean package -Pdist,native -DskipTests -Dtar