本地编译Hadoop2.9.1源码总结

目录

 

一、文档编写的目的

二、编译要求

三、软件安装

3.1 安装JDK

3.2 安装各种库

3.3 安装maven

3.4 安装protocolBuffer

3.5 安装findbugs

四、开始编译

五、编译中可能遇到的问题

---

一、文档编写的目的

当在Windows平台安装hadoop时，或者添加Hadoop一些额外功能时，需要对Hadoop源码进行编译，本文以Hadoop2.9.1为例进行源码编译。

操作流程概述：

• 编译要求
• 软件安装
• 开始编译

测试环境概述：

• CentOS6.9
• apache hadoop2.9.1
• whj(普通)用户

 

二、编译要求

先去官网下载hadoop2.9.1源码并解压，打开解压目录下的BUILDING.txt，编译过程和需要的软件其实就是根据这个文档里的描述来的。

下载地址：hadoop2.9.1源码

Requirements:

* Unix System
* JDK 1.7 or 1.8
* Maven 3.0 or later
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.5.0
* CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac
* Zlib devel (if compiling native code)
* openssl devel (if compiling native hadoop-pipes and to get the best HDFS encryption performance)
* Linux FUSE (Filesystem in Userspace) version 2.6 or above (if compiling fuse_dfs)
* Internet connection for first build (to fetch all Maven and Hadoop dependencies)
* python (for releasedocs)
* Node.js / bower / Ember-cli (for YARN UI v2 building)

这是编译所需要的软件，包括：

1. JDK1.7 or 1.8
2. maven 3.0 or later
3. findbugs 1.3.9
4. protocolBuffer 2.5.0
5. cmake 2.6
6. zlib-devel
7. openssl-devel

 解决编译依赖需安装autoconf automake gcc等

三、软件安装

3.1 安装JDK

安装JDK1.7 或1.8并配置环境变量，这里就不赘述了，前面文档《hodoop伪分布配置详细步骤》也有介绍。