近期对hadoop2.0源码做了一些修改,根据业务需要,添加了一点小小的功能。而且我们的hadoop2.0环境上同时运行着MapReduce和spark计算框架,所以hadoop源码的修改同时涉及到了hadoop的重新编译,以及spark的重新编译。下面是对编译过程的一点记录。编译的主要难点和关键在对spark的编译。
版本:
hadoop: cdh5.1.0-hadoop2.3.0
spark: spark1.0.2
hadoop源码的编译
1. 环境准备
(1) 安装maven3 。(这个过程很简单,就不描述了,只要下载maven包后解压,配置环境变量就可以了。注意版本,我的版本是apache-maven-3.1.1。)
(2) 安装protobuf-2.5.0。
(3) 其他需要的环境: yum install autoconf automake libtool ant gcc gcc-c++ make cmake openssl-devel ncurses-devel
2. 下载cdh5.1.0的源码包并解压: