Hadoop 源码编译

一、编译工具安装

1、准备安装包

自行下载以下安装包

apache-ant-1.9.16-bin.tar.gz
apache-maven-3.3.9-bin.tar.gz
hadoop-2.6.0-cdh5.14.2.tar.gz
jdk-8u221-linux-x64.tar.gz
protobuf-2.5.0.tar.gz

Linux直接下载 protobuf 安装包

wget https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz

2、软件安装

2.1、yum 安装

安装必要软件：glibc-headers、g++、make、cmake、openssl 库、ncurses-devel 库

yum install -y glibc-headers
yum install -y gcc-c++
yum install -y make
yum install -y cmake
yum install -y openssl-devel
yum install -y ncurses-devel

2.2、tar 包解压安装

解压安装 jdk、maven、ant

tar -zxvf apache-ant-1.9.16-bin.tar.gz -C /opt/module
tar -zxvf apache-maven-3.3.9-bin.tar.gz -C /opt/module
tar -zxvf jdk-8u221-linux-x64.tar.gz -C /opt/module

配置环境变量

#JAVA_HOME
export JAVA_HOME=/opt/jdk
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

#MAVEN_HOME
export MAVEN_HOME=/opt/module/apache-maven-3.3.9
export PATH=$PATH:$MAVEN_HOME/bin

#ANT_HOME
export ANT_HOME=/opt/module/apache-ant-1.9.16
export PATH=$PATH:$ANT_HOME/bin

使环境变量量生效：source /etc/profile

解压安装 protobuf

tar -zxvf protobuf-2.5.0.tar.gz -C /opt/module/

进入解压后 protobuf 主目录，依次执行以下命令

./configure
make
make check
make install
ldconfig

添加环境变量

#LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/opt/module/protobuf-2.5.0
export PATH=$PATH:$LD_LIBRARY_PATH

使环境变量量生效：source /etc/profile

二、编译源码

1、解压源码包

tar -zxvf hadoop-2.10.1-src.tar.gz -C /opt/

2、进入到 hadoop 源码主目录

cd /opt/hadoop-2.10.1-src

3、通过 maven 执行编译命令

mvn package -Pdist,native -DskipTests -Dtar

参数解释：

-Pdist,native：重新编译hadoop动态库
-DskipTests：跳过测试
-Dtar：打成tar包

4、等待结果

等待时间较长，最终成功全部SUCCESS

最后结果位置，在解压源码包下的 hadoop-dist 目录下 生成的 target 文件夹中

/opt/hadoop-2.10.1-src/hadoop-dist/target

结果如下：