本文使用的hadoop版本为 hadoop-2.6.0-cdh5.7.0
为什么要源码编译?
直接使用的hadoop-2.6.0-cdh5.7.0.tar.gz包部署的hadoop集群对于许多的压缩格式都是不支持的(如下图),生产上是不可接受的,故需要重新编译hadoop使之支持压缩。
源码包下载地址 : http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0-src.tar.gz
前置需求
源码包中的BUILDING.txt文件中说明了编译的一些需求:
Unix系统: 这里使用的是centos7.6
JDK :必须用1.7 ,用1.8会出错。下载地址: