Linux下编译hadoop2.8.1-src.tar.gz

环境说明：

1、虚拟机为VM10
2、Linux系统为centos6.5
3、Hadoop为hadoop-2.8.1-src.tar.gz
4、JDK为jdk-8u45-linux-x64.gz
5、Maven为apache-maven-3.3.9-bin.zip
6、protobuf为protobuf-2.5.0.tar.gz
7、findbugs为findbugs-1.3.9.zip

软件包地址

Linux：链接：https://pan.baidu.com/s/1c2jinQC 密码：qvb4
Hadoop：链接：https://pan.baidu.com/s/1eSjex7k 密码：9d6l
JDK：链接：https://pan.baidu.com/s/1pLR10mR 密码：t2de
Maven：链接：https://pan.baidu.com/s/1dEMLRKt 密码：jvhb
protobuf：链接：https://pan.baidu.com/s/1qYups3E 密码：15di
findbugs：链接：https://pan.baidu.com/s/1nvMfOdN 密码：iiq8
maven资源库(.m2.tar.gz)：链接：https://pan.baidu.com/s/1kUDMgWv 密码：pedi
VM10请自行下载，自己动手丰衣足食

下面开始安装

申明：当前用户为root用户

1、解压tar包

创建文件夹/opt/sourcecode
 mkdir -p /opt/sourcecode

上传文件到/opt/scourcecode目录
 rz 

进入目录解压tar
 tar -zxvf hadoop-2.8.1-src.tar.gz

解压后查看用户和用户组是否变化
 ll 
 若变化，手动更改用户和用户组权限 chown -R root:root hadoop-2.8.1-src

2、查看编译所需条件

cat ./hadoop-2.8.1-src/BUILDING.txt
------以下----------
    * Unix System
    * JDK 1.7+
    * Maven 3.0 or later
    * Findbugs 1.3.9 (if running findbugs)
    * ProtocolBuffer 2.5.0
    * CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac
    * Zlib devel (if compiling native code)
    * openssl devel (if compiling native hadoop-pipes and to get the best HDFS encryption performance)
    * Linux FUSE (Filesystem in Userspace) version 2.6 or above (if compiling fuse_dfs)
    * Internet connection for first build (to fetch all Maven and Hadoop dependencies)
------以上----------

3、安装jdk

声明：请使用Oracle jdk，可去Oracle官网下载最新

解压jdk

创建/usr/java目录
 mkdir -p /usr/java

移动jdk到/usr/java目录下解压
 tar -zxvf jdk-8u45-linux-x64.gz

解压后查看用户和用户组是否变化
 ll 
 若变化，手动更改用户和用户组权限 chown -R root:root jdk1.8.0_45

配置环境变量

编辑/etc/profile
 vi /etc/profile

在最下面添加如下信息
-----以下------
 #jdk存放的路径，根据自身情况可修改
 export JAVA_HOME=/usr/java/jdk1.8.0_45
 export PATH=$JAVA_HOME/bin:$PATH
-----以上-------

保存退出后生效配置文件
 source /etc/profile

验证是否配置成功
 java -version
 若输出对应版本号，则成功

4、安装maven

解压

创建/opt/software目录
 mkdir -p /opt/software

移动maven到/opt/software下解压
 unzip apache-maven-3.3.9-bin.zip

解压后查看用户和用户组是否变化
 ll 
若变化，手动更改用户和用户组权限 chown -R root:root apache-maven-3.3.9

配置环境变量

编辑/etc/profile
 vi /etc/profile

在最下面添加如下信息
-----以下------
 #软件存放的路径，根据自身情况可修改
 export JAVA_HOME=/usr/java/jdk1.8.0_45
 export MAVEN_HOME=/opt/software/apache-maven-3.3.9
 export MAVEN_OPTS="-Xms256m -Xmx512m"
 export PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH
-----以上-------

保存退出后生效配置文件
 source /etc/profile

验证是否配置成功
 mvn -version
 若输出对应版本号，则成功

5、安装protobuf

解压和安装配置

移动protobuf到/opt/software目录下解压
 tar -zxvf protobuf-2.5.0.tar.gz

解压后查看用户和用户组是否变化
 ll 
 若变化，手动更改用户和用户组权限 chown -R root:root protobuf-2.5.0

进入protobuf-2.5.0目录
 cd protobuf-2.5.0

在当前目录下安装gcc、gcc-c++、make、cmake
 yum install -y gcc gcc-c++ make cmake

执行protobuf的配置命令
 ./configure --prefix=/usr/local/protobuf
 执行结束后确保/user/local目录下存在protobuf文件夹，若不存在创建该文件夹:mkdir -p /usr/local/protobuf

安装make
 make && make install

配置环境变量

编辑/etc/profile
 vi /etc/profile

在最下面添加如下信息
-----以下------
 #软件存放的路径，根据自身情况可修改
 export JAVA_HOME=/usr/java/jdk1.8.0_45
 export MAVEN_HOME=/opt/software/apache-maven-3.3.9
 export MAVEN_OPTS="-Xms256m -Xmx512m"
 export PROTOC_HOME=/usr/local/protobuf
 export PATH=$PROTOC_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH
-----以上-------

保存退出后生效配置文件
 source /etc/profile

验证是否配置成功
 protoc --version
 若输出对应版本号，则成功

6、安装Findbugs

解压

移动findbugs到/opt/software下解压
 unzip findbugs-1.3.9.zip

解压后查看用户和用户组是否变化
 ll 
若变化，手动更改用户和用户组权限 chown -R root:root findbugs-1.3.9

配置环境变量

编辑/etc/profile
 vi /etc/profile

在最下面添加如下信息
-----以下------
 #软件存放的路径，根据自身情况可修改
 export JAVA_HOME=/usr/java/jdk1.8.0_45
 export MAVEN_HOME=/opt/software/apache-maven-3.3.9
 export MAVEN_OPTS="-Xms256m -Xmx512m"
 export PROTOC_HOME=/usr/local/protobuf
 export FINDBUGS_HOME=/opt/software/findbugs-1.3.9
 export PATH=$FINDBUGS_HOME/bin:$PROTOC_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH
-----以上-------
保存退出后生效配置文件
 source /etc/profile

验证是否配置成功
 findbugs-version
 若输出对应版本号，则成功

7、安装其他依赖

yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool

yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake

8、编译hadoop

进入adoop-2.8.1-src目录
 cd /opt/sourcecode/hadoop-2.8.1-src

执行编译命令
 mvn clean package -Pdist,native -DskipTests -Dtar
说明：
    该过程第一次编译可能会花费几个小时，maven会下载相应的jar包消耗时间。
    二次编译较快(半小时左右)。若不想下载，则参考步骤9。
    若编译过程中出现网络假死，则按Ctrl+C结束，再次执行编译命令。
    若多次都发生网络假死卡住，请参考步骤9。

若出现如下字样，表示编译成功
 -----以下------
[INFO] Apache Hadoop Distribution ......................... SUCCESS [01:07 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 31:41 min
[INFO] Finished at: 2017-12-10T11:55:28+08:00
[INFO] Final Memory: 166M/494M
[INFO] ------------------------------------------------------------------------
 -----以上------

进入./hadoop-dist/target目录查看编译好的tar包
 cd opt/sourcecode/hadoop-2.8.1-src/hadoop-dist/target
 hadoop-2.8.1.tar.gz 即为编译好的tar包

9、替换maven资源库

上传.m2.tar.gz到家目录/root下，.m2.tar.gz已经在软件包地址中给出

删除当前家目录/root下已经存在的.m2隐藏文件
 rm -rf .m2

解压.m2.tar.gz到当前目录下
 tar -zxvf .m2.tar.gz

确保用户用户组正常
 ll -a 
 若变化，手动更改用户和用户组权限 chown -R root:root .m2

查看.m2文件大小，若为128M左右表示正常
 du -sh .m2

进入/opt/sourcecode/hadoop-2.8.1-src目录重新执行编译命令