hadoop2.2.0编译与安装

1、hadoop2.2.0编译与安装

1.1 基础准备

见《基础准备（Hadoop/Spark/Mahout安装准备）》。

1.2 下载hadoop源码

hadoop官方下载地址：

http://www.eu.apache.org/dist/hadoop/common/

 

hadoop-2.2.0下载地址

http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz

 如果是你32bit的机器，可以直接下载官方已经编译好的包，64bit的机子跑编译好的包跑不了。

1.3 Maven编译 

[root@master ~]$ cd hadoop2.2.0-src

[root@master hadoop2.2.0-src]$ mvn clean install –DskipTests 

发现异常

[ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.2.0:protoc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecutionException: 'protoc --version' did not return a version -> [Help 1]  

[ERROR]   

[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.  

[ERROR] Re-run Maven using the -X switch to enable full debug logging.  

[ERROR]   

[ERROR] For more information about the errors and possible solutions, please read the following articles:  

[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException  

[ERROR]   

[ERROR] After correcting the problems, you can resume the build with the command  

[ERROR]   mvn <goals> -rf :hadoop-common 

 

hadoop2.2.0编译需要protoc2.5.0的支持，所以还要下载protoc，下载地址:https://code.google.com/p/protobuf/downloads/list，要下载2.5.0版本

对protoc进行编译安装前先要装几个依赖包:gcc,gcc-c++,make，cmake,openssl-devel,ncurses-devel依赖

[root@master ~]$ yum install gcc 

[root@master ~]$ yum intall gcc-c++  

[root@master ~]$ yum install make 

[root@master ~]$ yum install cmake 

[root@master ~]$ yum install openssl-devel 

[root@master ~]$ yum install ncurses-devel 

 

安装protoc

[root@master ~]$ tar -xvf protobuf-2.5.0.tar.bz2

[root@master ~]$ cd protobuf-2.5.0

[root@master protobuf-2.5.0]$ cd ./configure --prefix=/opt/protoc/

[root@master protobuf-2.5.0]$ make && make install 

安装完配置下环境变量，略过。

  

现在可以进行编译了

[root@master hadoop2.2.0-src]$ mvn package -Pdist,native -DskipTests –Dtar

 

第一次编译比较慢，要下载许多依赖，第二次重新就会快许多

 

[INFO] ------------------------------------------------------------------------  

[INFO] Reactor Summary:  

[INFO]   

[INFO] Apache Hadoop Main ................................ SUCCESS [3.709s]  

[INFO] Apache Hadoop Project POM ......................... SUCCESS [2.229s]  

[INFO] Apache Hadoop Annotations ......................... SUCCESS [5.270s]  

[INFO] Apache Hadoop Assemblies .......................... SUCCESS [0.388s]  

[INFO] Apache Hadoop Project Dist POM .................... SUCCESS [3.485s]  

[INFO] Apache Hadoop Maven Plugins ....................... SUCCESS [8.655s]  

[INFO] Apache Hadoop Auth ................................ SUCCESS [7.782s]  

[INFO] Apache Hadoop Auth Examples ....................... SUCCESS [5.731s]  

[INFO] Apache Hadoop Common .............................. SUCCESS [1:52.476s]  

[INFO] Apache Hadoop NFS ................................. SUCCESS [9.935s]