由于官网上的RPM都是32位的,运行在64位的机器上的时候或多或少的会出现问题,对于64位的机器,我们需要自己编译源码,生成可执行的Hadoop 程序。
下载
编译Hadoop需要有一些其他软件的支持,例如 Maven protoc等,下面让我们一起来实现这个过程。
一 编译环境 Hadoop2.x 版本
环境
OS: OSX 10.11
JDK 1.7
需要安装的库
yum install cmake lzo-devel zlib-devel gcc autoconf automake libtool ncurses-devel openssl-deve
二 安装Maven
安装Maven3.3
下载
# wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz
解压
# tar zxf apache-maven-3.3.9-bin.tar.gz -C /opt
打开配置文件
# vim ~/.bash_profile
添加 如下内容环境变量:
export MAVEN_HOME=/opt/apache-maven-3.1.4
export PATH=$PATH:$MAVEN_HOME/bin
三 安装 ANT
# wget http://apache.dataguru.cn//ant/binaries/apache-ant-1.9.4-bin.tar.gz
# tar zxf apache-ant-1.9.4-bin.tar.gz -C /opt
# vim /etc/profile
添加如下内容:
export ANT_HOME=/opt/apache-ant-1.9.4
export PATH=$PATH:$ANT_HOME/bin
四 安装 Findbugs
# wget http://prdownloads.sourceforge.net/findbugs/findbugs-2.0.3.tar.gz
# tar zxf findbugs-2.0.3.tar.gz -C /opt
# vim /etc/profile
添加如下:
export FINDBUGS_HOME=/opt/findbugs-2.0.3
export PATH=$PATH:$FINDBUGS_HOME/bin
五 安装protobuf
Hadoop2.2以上需要protobuf2.5以上的,下载地址:
下载完后 安装:
# tar zxf protobuf-2.5.0.tar.gz
# cd protobuf-2.5.0
# ./configure
# make
# make install
六 编译 Hadoop
cd 到hadoop的根目录中
mvn package -Pdist,native,docs -DskipTests -Dtar
这里需要一个多小时或更久,并需要联网下载依赖包
最后文件在 hadoop-2.x.x-src/hadoop-dist/target 中
可以直接拿 hadoop-2.x.x目录去部署,还有一个hadoop-2.x.x.tar.gz包