hadoop源码编译

Hadoop源码编译：
系统：CentOS 7
源码：hadoop-2.7.3

---

1.安装Java

要求jdk 1.7+以上版本，下载系统对应版本，这里我们使用jdk1.8。最好卸载之前系统自带的OpenJDK,这里使用rpm安装

rpm -ivh jdk-8u131-linux-x64.rpm

2.安装maven

yum install -y maven

3、安装protobuf和findbugs

hadoop利用protobuf通信，findbugs提示错误
下载protobuf-2.5.0版本:http://download.csdn.net/download/agent_x/9896356
解压安装

tar -xzvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./configure --prefix=/usr/local
sudo make
sudo make install

下载findbugs,解压即可

tar -xzvf findbugs-3.0.1.gz
mv findbugs-3.0.1 /usr/local/findbugs

修改环境变量，编译/etc/profile，
vim /etc/profile
在末尾添加

export FINDBUGS_HOME=/usr/local/findbugs
export PROTOC_HOME=/usr/local/protoc
export PATH=$FINDBUGS_HOME/bin:$PROTOC_HOME/bin:$PATH

立即导入生效
source /etc/profile
验证
protoc –version
findbugs –version

4.安装其他依赖(仅需要在master上安装)

yum install -y zlib-devel gcc gcc-c++ openssl-devel automake make autoconf cmake ncurses-devel libtool lzo-devel

5.编译hadoop

执行命令
mvn clean package –Pdist,native –DskipTests –Dtar
编译时间较长