Linux下源码编译 Hadoop2.7.7

Hadoop 不提供 64 位版本，当我们使用 64 位版本的机器想完美运行 Hadoop 的时候，就需要在官方下载源码包，自行编译。以下是整个编译的过程

1、操作系统编译环境

yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst

2、安装 JDK

下载 JDK 1.7 ，注意只能用 JDK 1.7 的，否则编译会报错

tar zxvf jdk-7u75-linux-x64.tar.gz -C /app

vim /etc/profile   //直接输入export指令则是一次性添加，重启不被保存
                     //在配置文件里添加环境变量则是计算机每次启动都自动添加
export JAVA_HOME=/app/jdk1.7.0_75
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin

3、安装 protobuf

下载 protobuf 2.5.0 ，不能用高版本的，否则 Hadoop 编译会不通过

tar zxvf protobuf2.5.0.tar.gz
cd protobuf2.5.0
./configure
make
make install
ldconfig
protoc --version

4、安装 ANT

下载 APACHE ANT 1.9.14

tar zxvf apache-ant-1.9.14.tar.gz

vim /etc/profile
export ANT_HOME=/opt/apache-ant-1.9.14
PATH=$PATH:$ANT_HOME/bin

5、安装 maven

下载 APACHE MAVEN 3.1.1

tar zxvf apache-maven-3.1.1.tar.gz

vim /etc/profile
export MAVEN_HOME=/opt/apache-maven-3.1.1
PATH=$PATH:$MAVEN_HOME/bin

由于hadoop项目包有多个，默认配置可能会报资源不足的错误
解决方法：将 jvm 内存调整到 512m

export MAVEN_OPTS="-Xmx512m -XX:MaxPermSize=128m"

maven自带的包库速度会比阿里的包库要慢的多，同时可能会有其他问题出现，因此我们将maven 的远程库替换为阿里的远程库，保证速度的同时保证成功编译

<mirror>
  <id>nexus-osc</id>
  <mirrorOf>*</mirrorOf>
  <name>Nexusosc</name>
  <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

6、编译 Hadoop 2.7.7

下载 Hadoop 2.7.7

tar zxvf hadoop-2.7.7-src.tar.gz 

cd hadoop-2.7.7-src

mvn package -DskipTests -Pdist,native -Dtar

Build Success 后会打包放在 hadoop-dist 下面
验证是否成功编译：

cd /opt/hadoop-2.7.7-src/hadoop-dist/target/hadoop-2.7.7/lib/native
file *