CentOS6.6_x64上编译Hadoop2.5.1

1. 安装编译所需软件

[root@hadoop02 ~]# yum install -y cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel


在编译安装Hadoop的时候，上面是需要使用到的软件，如果不安装就进行编译打包Hadoop，中间会有很多错误，就是这些没有安装的缘故

2. 安装JDK

进入Oracle的官网： http://www.oracle.com/technetwork/java/javase/downloads/index.html
点击下载： http://download.oracle.com/otn-pub/java/jdk/7u71-b14/jdk-7u71-linux-x64.tar.gz

[root@hadoop02 arvin]# wget http://download.oracle.com/otn-pub/java/jdk/7u71-b14/jdk-7u71-linux-x64.tar.gz
[root@hadoop02 arvin]# tar -zxvf jdk-7u71-linux-x64.tar.gz -C ./java/
[root@hadoop02 arvin]# vi /etc/profile
export JAVA_HOME=/arvin/java/jdk1.7.0_71
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
[root@hadoop02 arvin]# source /etc/profile
[root@hadoop02 arvin]# java -version

注意，必须使用jdk7，hadoop的源码和jdk8不兼容，使用Java8进行打包编译会有如下错误：
[INFO] Apache Hadoop Main ................................. SUCCESS [  1.631 s]
[INFO] Apache Hadoop Project POM .......................... SUCCESS [  1.429 s]
[INFO] Apache Hadoop Annotations .......................... FAILURE [  3.177 s]
[INFO] Apache Hadoop Assemblies ........................... SKIPPED

3. 安装Maven

百度搜索Maven，进入Maven的官方网站： http://maven.apache.org/
点击Download，选择最新版本并下载到CentOS上面

[root@hadoop02 arvin]# wget http://apache.fayea.com/apache-mirror/maven/maven-3/3.2.3/binaries/apache-maven-3.2.3-bin.tar.gz
[root@hadoop02 arvin]# tar -zxvf apache-maven-3.2.3-bin.tar.gz
[root@hadoop02 arvin]# vi /etc/profile
export MAVEN_HOME=/arvin/apache-maven-3.2.3
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$MAVEN_HOME/bin:$PATH
[root@hadoop02 arvin]# source /etc/profile
[root@hadoop02 arvin]# mvn -version
Apache Maven 3.2.3 (33f8c3e1027c3ddde99d3cdebad2656a31e8fdf4; 2014-08-12T04:58:10+08:00)
Maven home: /arvin/apache-maven-3.2.3
Java version: 1.7.0_45, vendor: Oracle Corporation
Java home: /arvin/java/jdk1.7.0_45/jre
Default locale: zh_CN, platform encoding: UTF-8
OS name: "linux", version: "2.6.32-504.el6.x86_64", arch: "amd64", family: "unix"

4. 安装Ant

百度Ant，进入官网： http://ant.apache.org/
点击Download->Binary Distributions, 下载文件： http://apache.fayea.com/apache-mirror//ant/binaries/apache-ant-1.9.4-bin.tar.gz

[root@hadoop02 arvin]# wget http://apache.fayea.com/apache-mirror//ant/binaries/apache-ant-1.9.4-bin.tar.gz
[root@hadoop02 arvin]# tar -zxvf apache-ant-1.9.4-bin.tar.gz
[root@hadoop02 arvin]# vi /etc/profile
export ANT_HOME=/arvin/apache-ant-1.9.4
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$MAVEN_HOME/bin:$ANT_HOME:$PATH
[root@hadoop02 arvin]# source /etc/profile
[root@hadoop02 arvin]# ant -version
Apache Ant(TM) version 1.9.4 compiled on April 29 2014

5. 安装Findbugs

[root@hadoop02 arvin]# wget http://prdownloads.sourceforge.net/findbugs/findbugs-2.0.3.tar.gz
[root@hadoop02 arvin]# tar -zxvf findbugs-2.0.3.tar.gz
[root@hadoop02 arvin]# vi /etc/profile
export FINDBUGS_HOME=/arvin/findbugs-2.0.3
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$MAVEN_HOME/bin:$ANT_HOME:$FINDBUGS_HOME/bin:$PATH
[root@hadoop02 arvin]# source /etc/profile
[root@hadoop02 arvin]# fb -version
2.0.3

6. 安装protobuf

[root@hadoop02 arvin]# wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz
如果无法下载请自行在网上搜索protobuf-2.5.0进行下载，然后传到Linux上也是一样的
[root@hadoop02 arvin]# tar -zxvf protobuf-2.5.0.tar.gz
[root@hadoop02 arvin]# cd protobuf-2.5.0
[root@hadoop02 protobuf-2.5.0]# ./configure
[root@hadoop02 protobuf-2.5.0]# make && make install
请耐心等待编译安装...

7. 编译安装Hadoop2.5.1

下载hadoop的源代码（在我的百度网盘上面也有： http://pan.baidu.com/s/1sjPUwu5）
[root@hadoop02 arvin]# wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.5.1/hadoop-2.5.1-src.tar.gz
[root@hadoop02 arvin]# tar -zxvf hadoop-2.5.1-src.tar.gz
[root@hadoop02 arvin]# cd hadoop-2.5.1-src

# 注意，执行一下命令的时候，保证该目录hadoop-2.5.1-src只有当前进程进行使用，否则会报Ant无法删除文件错误，尽量不要多个SSH进行连接
[root@hadoop02 hadoop-2.5.1-src]# mvn package -DskipTests -Pdist,native -Dtar
接下来就是很漫长的等待......

打包完成之后，打包的文件在/hadoop-dist/target目录下面

[root@hadoop01 target]# pwd
/arvin/hadoop-2.5.1-src/hadoop-dist/target
[root@hadoop01 target]# ls -al
总用量 390112
drwxr-xr-x. 7 root  root       4096 11月 20 08:08 .
drwxr-xr-x. 3 10011 10011      4096 11月 20 08:07 ..
drwxr-xr-x. 2 root  root       4096 11月 20 08:07 antrun
-rw-r--r--. 1 root  root       1764 11月 20 08:07 dist-layout-stitching.sh
-rw-r--r--. 1 root  root        636 11月 20 08:08 dist-tar-stitching.sh
drwxr-xr-x. 9 root  root       4096 11月 20 08:08 hadoop-2.5.1
-rw-r--r--. 1 root  root  132903618 11月 20 08:08 hadoop-2.5.1.tar.gz
-rw-r--r--. 1 root  root       2768 11月 20 08:08 hadoop-dist-2.5.1.jar
-rw-r--r--. 1 root  root  266524465 11月 20 08:08 hadoop-dist-2.5.1-javadoc.jar
drwxr-xr-x. 2 root  root       4096 11月 20 08:08 javadoc-bundle-options
drwxr-xr-x. 2 root  root       4096 11月 20 08:08 maven-archiver
drwxr-xr-x. 2 root  root       4096 11月 20 08:07 test-dir

我在百度网盘上面分享了CentOS6.6 x64下编译的hadoop2.5.1版本，您可以直接在上面下载：

http://pan.baidu.com/s/1kT85DqB

8. 相关工具的下载

hadoop2.5.1源码：  http://pan.baidu.com/s/1sjPUwu5

hadoop2.5.1 x64编译好的文件： http://pan.baidu.com/s/1kT85DqB

protobuf2.5.0: http://pan.baidu.com/s/1c0ALOcw

findbugs2.0.3: http://pan.baidu.com/s/1eQ3WgPO

apache-maven: http://pan.baidu.com/s/1qWwkk2o

apache-ant: http://pan.baidu.com/s/1hqveAqg