ubuntu编译hadoop源码

1.环境配置

1.1安装JDK

详细步骤可查看JDK安装教程

1.2安装maven

详细步骤可查看Maven安装教程

1.3安装依赖库

sudo apt-get install build-essential cmake libglib2.0-dev libssl-dev autoconf automake libtool curl make g++ unzip #部分为运行protobuf所需的依赖库

1.4安装protobuf

从github上protobuf下载页面下载对应版本。这里选择的是2.5.0版本(zip)。(注:hadoop3.0.0后版本protobuf升级到更新的版本了，可参照HADOOP-13363)
进入解压后的文件夹，安装protocolbuf。

./configure
make
make check
sudo make install #默认安装会装到需要root权限的文件夹中
protoc –version #检查protoc安装是否正确

2.编译hadoop

2.1下载hadoop源码

访问hadoop官网下载页面，下载相应的hadoop版本，这里下载的是hadoop2.7.6(tar.gz)。

2.2解压编译

进入压缩包所在文件夹，执行解压缩命令，进入到解压后的文件夹，执行编译命令。

tar -xvf hadoop-2.7.6-src.tar.gz
cd hadoop-2.7.6-src/
mvn clean package -Pdist,native -DskipTests -Dtar

编译完成后，/hadoop-2.7.6-src/hadoop-dist/target/hadoop-2.7.6.tar.gz就是所需的文件。