Snappy压缩源码编译

编译前资源准备

1．CentOS联网

        配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的

        注意：采用root角色编译，减少文件夹权限出现问题

2．jar包准备(hadoop源码、JDK8 、maven、protobuf)

（1）hadoop-2.7.2-src.tar.gz

（2）jdk-8u144-linux-x64.tar.gz

（3）snappy-1.1.3.tar.gz

（4）apache-maven-3.0.5-bin.tar.gz

（5）protobuf-2.5.0.tar.gz

 

jar包安装

注意：所有操作必须在root用户下完成

1．JDK解压、配置环境变量JAVA_HOME和PATH，验证java-version(如下都需要验证是否配置成功)

[root@hadoop101 software] # tar -zxf jdk-8u144-linux-x64.tar.gz -C /opt/module/

[root@hadoop101 software]# vi /etc/profile

#JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_144 export PATH=$PATH:$JAVA_HOME/bin

[root@hadoop101 software]#source /etc/profile

验证命令：java -version

2．Maven解压、配置  MAVEN_HOME和PATH

[root@hadoop101 software]# tar -zxvf apache-maven-3.0.5-bin.tar.gz -C /opt/module/

[root@hadoop101 apache-maven-3.0.5]# vi /etc/profile

#MAVEN_HOME export MAVEN_HOME=/opt/module/apache-maven-3.0.5 export PATH=$PATH:$MAVEN_HOME/bin

[root@hadoop101 software]#source /etc/profile

验证命令：mvn -version

 

编译源码

1．准备编译环境

[root@hadoop101 software]# yum install svn

[root@hadoop101 software]# yum install autoconf automake libtool cmake

[root@hadoop101 software]# yum install ncurses-devel

[root@hadoop101 software]# yum install openssl-devel

[root@hadoop101 software]# yum install gcc*

2．编译安装snappy

   [root@hadoop101 software]# tar -zxvf snappy-1.1.3.tar.gz -C /opt/module/

   [root@hadoop101 module]# cd snappy-1.1.3/

   [root@hadoop101 snappy-1.1.3]# ./configure

   [root@hadoop101 snappy-1.1.3]# make

   [root@hadoop101 snappy-1.1.3]# make install

     # 查看snappy库文件

    [root@hadoop101 snappy-1.1.3]# ls -lh /usr/local/lib |grep snappy

3．编译安装protobuf

    [root@hadoop101 software]# tar -zxvf protobuf-2.5.0.tar.gz -C /opt/module/

    [root@hadoop101 module]# cd protobuf-2.5.0/

    [root@hadoop101 protobuf-2.5.0]# ./configure 

    [root@hadoop101 protobuf-2.5.0]#  make 

    [root@hadoop101 protobuf-2.5.0]#  make install

# 查看protobuf版本以测试是否安装成功
     [root@hadoop101 protobuf-2.5.0]# protoc --version

4．编译hadoop native

   [root@hadoop101 software]# tar -zxvf hadoop-2.7.2-src.tar.gz

    [root@hadoop101 software]# cd hadoop-2.7.2-src/

    [root@hadoop101 software]# mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy

执行成功后，/opt/software/hadoop-2.7.2-src/hadoop-dist/target/hadoop-2.7.2.tar.gz即为新生成的支持snappy压缩的二进制安装包。