Apache Hadoop编译

Github地址

https://github.com/apache/hadoop

下载源码包

hadoop-2.8.1-src.tar.gz

解压

tar -zxvf hadoop-2.8.1-src.tar.gz

安装编译所需要的工具包

protobuf安装

下载protobuf-2.5.0.tar.gz
#tar -xzvf protobuf-2.5.0.tar.gz
#cd protobuf-2.5.0
#yum install -y gcc gcc-c++ make cmake
#./configure --prefix=/usr/local/protobuf
#make && make install
#vi /etc/profile
export PROTOC_HOME=/usr/local/protobuf
export PATH=$PROTOC_HOME/bin
#source /etc/profile
#protoc --version

Findbugs安装

下载findbugs-1.3.9.zip
#unzip findbugs-1.3.9.zip
#vi /etc/profile
export FINDBUGS_HOME=/opt/software/findbugs-1.3.9
export PATH=$FINDBUGS_HOME/bin
#source /etc/profile
#findbugs -version

其他依赖

#yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool
#yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake

编译

#cd hadoop-2.8.1-src
#mvn clean package -Pdist,native -DskipTests -Dtar

在使用MAVEN中，编译时download很慢是由于使用默认的源进行下载，这里手动修改

$MAVEN_HOME/conf/settings.xml文件，找到mirror段，进行如下修改即可。

<mirror>
    <id>*</id>
    <mirrorOf>*</mirrorOf>
    <name>nexus-aliyun</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>