Hadoop2.8.5编译源码详细步骤

一、前期准备

1.jar包准备（hadoop源码、JDK8、maven、ant、protobuf）

（1）hadoop-2.8.5-src.tar.gz 下载地址
（2）jdk-8u181-linux-x64.tar.gz
（3）apache-ant-1.9.14-bin.tar.gz 下载地址
（4）apache-maven-3.6.1-bin.tar.gz 下载地址
（5）protobuf-2.5.0.tar 下载地址

二、jar包安装

1、JDK解压、配置环境变量JAVA_HOME和PATH，验证java-version

[root@hadoop software] # tar -zxf jdk-8u181-linux-x64.tar.gz -C /opt/module/ 
[root@hadoop software]# vi /etc/profile
 #JAVA_HOME： 
 export JAVA_HOME=/opt/module/jdk1.8.0_181 
 export PATH=$PATH:$JAVA_HOME/bin 
[root@hadoop software]#source /etc/profile 

验证命令：java -version

2、Maven 解压、配置 MAVEN_HOME 和 PATH

[root@hadoop software]# tar -zxvf apache-maven-3.6.1bin.tar.gz -C /opt/module/ 
 
[root@hadoop apache-maven-3.6.1]# vi conf/settings.xml 
 
<mirrors>
     <!-- mirror
           | Specifies a repository mirror site to use instead of a given repository. The repository that      
           | this mirror serves has an ID that matches the mirrorOf element of this mirror. IDs are used      
           | for inheritance and direct lookup purposes, and must be unique across the set of mirrors.      
           | 
<mirror>        
            <id>mirrorId</id>        
            <mirrorOf>repositoryId</mirrorOf>        
            <name>Human Readable Name for this Mirror.</name>        
            <url>http://my.repository.com/repo/path</url>       
            </mirror>      
            -->        
             <mirror>
                              <id>nexus-aliyun</id>                 
                              <mirrorOf>central</mirrorOf>                 
                              <name>Nexus aliyun</name>                 
<url>http://maven.aliyun.com/nexus/content/groups/public</ur l>
         </mirror>
</mirrors>

[root@hadoop apache-maven-3.6.1]# vi /etc/profile 
#MAVEN_HOME 
export MAVEN_HOME=/opt/module/apache-maven-3.6.1 
export PATH=$PATH:$MAVEN_HOME/bin 
[root@hadoop101 software]#source /etc/profile 

验证命令：mvn -version

3、ant 解压、配置 ANT _HOME 和 PATH

[root@hadoop software]# tar -zxvf apache-ant-1.9.14bin.tar.gz -C /opt/module/ 
 
[root@hadoop apache-ant-1.9.14]# vi /etc/profile 
#ANT_HOME 
export ANT_HOME=/opt/module/apache-ant-1.9.14 
export PATH=$PATH:$ANT_HOME/bin 

[root@hadoop101 software]#source /etc/profile 

验证命令：ant -version

4.、安装 glibc-headers 和 g++ 命令如下

[root@hadoop101 apache-ant-1.9.14]# yum install glibc-headers 
[root@hadoop101 apache-ant-1.9.14]# yum install gcc-c++ 

5、 安装 make 和 cmake

[root@hadoop apache-ant-1.9.14]# yum install make 
[root@hadoop apache-ant-1.9.14]# yum install cmake

6、 解压 protobuf ，进入到解压后 protobuf 主目录，/opt/module/protobuf-2.5.0， 然后相继执行命令

[root@hadoop software]# tar -zxvf protobuf-2.5.0.tar.gz -C /opt/module/ 
[root@hadoop opt]# cd /opt/module/protobuf-2.5.0/ 

[root@hadoop protobuf-2.5.0]#./configure  
[root@hadoop protobuf-2.5.0]# make  
[root@hadoop protobuf-2.5.0]# make check  
[root@hadoop protobuf-2.5.0]# make install  
[root@hadoop protobuf-2.5.0]# ldconfig  
 
[root@hadoop hadoop-dist]# vi /etc/profile 
#LD_LIBRARY_PATH 
export LD_LIBRARY_PATH=/opt/module/protobuf-2.5.0 
export PATH=$PATH:$LD_LIBRARY_PATH 
 
[root@hadoop software]#source /etc/profile

验证命令：protoc --version
7、 安装 openssl 库

[root@hadoop software]#yum install openssl-devel 

8.、安装 ncurses-devel 库

[root@hadoop software]#yum install ncurses-devel 

到这里编译工具安装基本完成。

三、编译源码

1、 解压源码到/opt/目录

[root@hadoop software]# tar -zxvf hadoop-2.8.5-src.tar.gz -C /opt/ 

2.、进入到 hadoop 源码主目录

[root@hadoop hadoop-2.8.5-src]# pwd 
/opt/hadoop-2.8.5-src 

3、 通过 maven 执行编译命令

[root@hadoop hadoop-2.8.5-src]#mvn package -Pdist,native DskipTests -Dtar 

然后就是一直等吧，最终成功是全部 SUCCESS。

4、成功的 64 位 hadoop 包在/opt/hadoop-2.8.5-src/hadoop-dist/target 下

[root@hadoop target]# pwd /opt/hadoop-2.8.5-src/hadoop-dist/target