编译hadoop源码并实现其文件压缩功能

由于appache给出的hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题,需要对Hadoop源码包进行重新编译.
安装包网盘地址：链接：https://pan.baidu.com/s/1Ws3r_FzeY8R5iEMdjpFfAw
提取码：1y1u

1.关闭防火墙和和selinux

关闭防火墙

systemctl stop firewalld.service            #停止firewall
systemctl disable firewalld.service        #禁止firewall开机启动

关闭selinux
vi /etc/selinux/config
设置 SELINUX=disabled 并保存

2.安装jdk

注意hadoop-2.7.5 这个版本的编译，只能使用jdk1.7，如果使用jdk1.8那么就会报错

2.1新建目录 /home/hadoop

mkdir  /home/hadoop

2.2解压 jdk1.7到 /home/hadoop/ 目录下

 tar -zxvf jdk-7u75-linux-x64.tar.gz -C /home/hadoop/

2.3 配置环境变量

编辑环境变量 vi /etc/profile

export JAVA_HOME=/home/hadoop/jdk1.7.0_75
export PATH=:$JAVA_HOME/bin:$PATH

保存后 执行 source /etc/profile 是文件生效

3.安装配置maven

编辑环境变量 vi /etc/profile

export MAVEN_HOME=/home/hadoop/apache-maven-3.0.5
export MAVEN_OPTS="-Xms4096m -Xmx4096m"
export PATH=:$MAVEN_HOME/bin:$PATH

source /etc/profile 使环境变量生效

修改maven配置文件添加阿里云镜像

<mirror>
      <id>alimaven</id>
      <name>aliyun maven</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      <mirrorOf>central</mirrorOf>
 </mirror>

4.安装findbugs

解压findbugs

 tar -zxvf findbugs-1.3.9.tar.gz -C /home/hadoop/

配置findbugs的环境变量

#配置findbugs环境变量
export FINDBUGS_HOME=/home/hadoop/findbugs-1.3.9
export PATH=:$FINDBUGS_HOME/bin:$PATH

source /etc/profile 使环境变量生效

5.安装依赖包

yum install autoconf automake libtool cmake
yum install ncurses-devel
yum install openssl-devel
yum install lzo-devel zlib-devel gcc gcc-c++

bzip2压缩需要的依赖包

yum install -y bzip2-devel

6.安装protobuf

解压protobuf并进行编译

tar -zxvf protobuf-2.5.0.tar.gz -C /home/hadoop/

进入 protobuf目录并编译文件

cd /home/hadoop/protobuf-2.5.0
./configure
make && make install

7.安装snappy

#解压 snappy 
tar -zxf snappy-1.1.1.tar.gz -C /home/hadoop/
#进入目录
cd /home/hadoop/snappy-1.1.1/

#编译并安装snappy
./configure
make && make install

8.安装hadoop源码

tar -zxvf hadoop-2.7.5-src.tar.gz -C /home/hadoop/
cd /home/hadoop/hadoop-2.7.5-src

执行编译支持snappy压缩：

mvn package -DskipTests -Pdist,native -Dtar -Drequire.snappy -e -X

提取压缩包就在下面这个路径里面

/home/hadoop/hadoop-2.7.5/hadoop-dist/target

编译时间较长，成功后提示下图：

进入包路径：

/home/hadoop/hadoop-2.7.5-src/hadoop-dist/target

hadoop-2.7.5.tar.gz就是编译好的 hadoop安装包

hadoop安装包的编译工作就到这里了。