[ Linux 下 Hadoop 编译]CentOS6.4_64位下编译Hadoop2.2.0

0、前言

在配置Cygwin无果后，终于专向Linux环境，本文是参照http://blog.csdn.net/w13770269691/article/details/16883663 ，

通过过自行实践加总结，写出本文。其实很多人都不建议在Cygwin下进行Hadoop配置，毕竟不是真正的Linux，总会让你遇到各种各样的非主流问题，却又难以解决。

下面进入安装过程描述。

前人的指引不一定会让你成功，但是一定对你有帮助！

1、安装JDK
我这里用的CentOS6.4_64位虚拟机（KVM虚拟化），要下载对应的64位的JDK,下载地址：
http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html 
选择对应于你操作系统的JDK版本，解压JDK，因为我不太想安装rpm包，所以我选择tar.gz
接下来配置环境变量（我配置的是全局的）：
1）vim /etc/profile
2）在文件最后追加：
export PATH 
export JAVA_HOME=/opt/jdk1.7 
export PATH=$PATH:$JAVA_HOME/bin
3）使环境变量生效：source /etc/profile
4）验证jdk是否配置成功： java -version （出现版本信息表示配置成功)

2、编译前的准备(maven)
1）下载maven

看到网上有这种说法：

但我确实使用的3.1.1版本，目前来看好像没有什么问题，maven官方下载地址：

wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.zip

2）解压文件后，同样在/etc/profie里配置环境变量

exportMAVEN_HOME=/opt/maven3.1.1

exportPATH=$PATH:$MAVEN_HOME/bin

3)使环境变量生效：

source /etc/profile

4）验证配置是否成功（出现版本信息表示成功）：

mvn -version

3、编译前的准备（安装protoc）
hadoop2.2.0编译需要protoc2.5.0的支持，所以还要下载protoc。
对protoc进行编译安装前先要装几个依赖包：gcc，gcc-c++，make，
由于下面编译Hadoop需要：cmake，openssl-devel，ncurses-deve，此处一起安装好了。
安装方法：直接yum install即可，如安装 gcc： 使用 yum install gcc 即可。
1）下载protoc
下载地址:https://code.google.com/p/protobuf/downloads/list


2)解压安装protoc，执行以下几步：
tar -xvf protobuf-2.5.0.tar.bz2
cd protobuf-2.5.0
./configure
make
make install


3）验证是否安装成功（出现版本号表示安装成功了）
[root@localhost hadoop-2.2.0]# protoc --version
libprotoc 2.5.0


4、编译hadoop
Hadoop为什么要编译？因为官网提供的编译好的程序，是32位版本的，然而现在还有多少人在用32位的Linux呢？
确实有点坑，看到别人说各种各样的报错，只好选择自行编译了。下面进入安装步骤：
1）下载源代码
wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz
2）配置mvn
由于maven国外服务器可能连不上，先给maven配置一下国内镜像，进入maven安装目录，
打开conf/settings.xml文件，

在<mirrors></mirros>节点里添加：

<mirror>
  <id>nexus-osc</id>
  <mirrorOf>*</mirrorOf>
  <name>Nexusosc</name>
  <url>http://maven.oschina.net/content/groups/public/</url>
</mirror> 

在<profiles></profiles>节点内添加：

<profile>  
<id>jdk-1.7</id>  
<activation>  
<jdk>1.7</jdk>  
</activation>  
<repositories>  
<repository>  
<id>nexus</id>  
<name>local private nexus</name>  
<url>http://maven.oschina.net/content/groups/public/</url>  
<releases>  
<enabled>true</enabled>  
</releases>  
<snapshots>
<enabled>false</enabled>
</snapshots>
</repository>
</repositories>
<pluginRepositories>
<pluginRepository>
<id>nexus</id>
<name>local private nexus</name>
<url>http://maven.oschina.net/content/groups/public/</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>false</enabled>
</snapshots>
</pluginRepository>
</pluginRepositories>
</profile>  

3) Hadoop 2.2.0需要打patch，Patch :https://issues.apache.org/jira/browse/HADOOP-10110

其实也就是在\hadoop-common-project\hadoop-auth\pom.xml这个文件的56行后面，
需要添加一段代码而已。代码如下：

<dependency>
　　<groupId>org.mortbay.jetty</groupId>
　　<artifactId>jetty-util</artifactId>
　　<scope>test</scope>
</dependency>

4）clean
进入Hadoop安装目录执行：
mvn clean
（第一次编译可以不用执行clean，当时我这一步mvn出错，
参考文章：http://www.javaxxz.com/thread-66406-1-1.html）
5） build hadoop包：
mvn package -DskipTests -Pdist,native,docs -Dtar
不出意外应该是编译成功了：

6）验证
进入hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0
a. cd bin执行 ./hadoop version 可以看到：

b. 执行file lib//native/*可以看到：

至此，Hadoop编译完成，下面进入集群部署。
下篇：Hadoop的集群配置