Hadoop源码编译以支持压缩

1、环境要求

hadoop我们下载的是源码包，而不是hadoop-2.6.0-cdh5.7.0.tar.gz包，直接使用它hadoop集群不支持文件压缩，所以我们要编译。

组件	版本	说明
Centos7.2 2核4G	一台阿里云主机，按量付费
Hadoop	Hadoop-2.6.0-cdh5.7.0-src.tar.gz	http://archive.cloudera.com/cdh5/cdh/5/
jdk	jdk-7u80-linux-x64.tar.gz	jdk必须是1.7
maven	apache-maven-3.3.9-bin.tar.gz	比这个版本大也可以
protobuf	protobuf-2.5.0.tar.gz	https://pan.baidu.com/s/1RSNZGd_ThwknMB3vDkEfhQ 提取码：hvc2
repo	repo.tar.gz	https://pan.baidu.com/s/1vq4iVFqqyJNkYzg90bVrfg 提取码：vugv

2、编译前准备

2.1 添加用户和相关目录

[root@vm01 ~]# useradd hadoop
[root@vm01 ~]# su - hadoop
[hadoop@vm01 ~]$ mkdir app soft source lib data maven_repo shell mysql

2.2 安装lrzsz并上传软件

#先安装上传下载的工具，rz上传，sz filename下载，下载的路径查看：CRT会话选项-x/y/Zmodem
[root@vm01 ~]# yum install -y lrzsz
[root@vm01 ~]# su - hadoop
[hadoop@vm01 ~]#$ cd soft
[hadoop@vm01 soft]$ rz  
[hadoop@vm01 soft]$ ll
total 202192
-rw-r--r--. 1 hadoop hadoop   8491533 Apr  7 11:25 apache-maven-3.3.9-bin.tar.gz
-rw-r--r--. 1 hadoop hadoop  42610549 Apr  6 16:55 hadoop-2.6.0-cdh5.7.0-src.tar.gz
-rw-r--r--. 1 hadoop hadoop 153530841 Apr  7 11:12 jdk-7u80-linux-x64.tar.gz
-rw-r--r--. 1 hadoop hadoop   2401901 Apr  7 11:31 protobuf-2.5.0.tar.gz
-rw-r--r--.  1 hadoop hadoop 110196548 Apr  7 21:54 repo.tar.gz

2.3 安装必要的依赖库

[root@vm01 ~]# yum install -y svn ncurses-devel