黑猴子的家：Hadoop 编译源码支持snappy压缩

最新推荐文章于 2020-03-26 13:55:22 发布

黑猴子的家

最新推荐文章于 2020-03-26 13:55:22 发布

阅读量121

点赞数

分类专栏： Hadoop

本文链接：https://blog.csdn.net/qq_28652401/article/details/83507872

版权

Hadoop 专栏收录该内容

45 篇文章 0 订阅

订阅专栏

1、CentOS联网

[root@node1 ~]# ping www.baidu.com
PING www.a.shifen.com (61.135.169.121) 56(84) bytes of data.
64 bytes from 61.135.169.121 (61.135.169.121): icmp_seq=1 ttl=128 time=21.2 ms
64 bytes from 61.135.169.121 (61.135.169.121): icmp_seq=2 ttl=128 time=20.0 ms
64 bytes from 61.135.169.121 (61.135.169.121): icmp_seq=3 ttl=128 time=22.1 ms
64 bytes from 61.135.169.121 (61.135.169.121): icmp_seq=4 ttl=128 time=17.1 ms
64 bytes from 61.135.169.121 (61.135.169.121): icmp_seq=5 ttl=128 time=20.2 ms
64 bytes from 61.135.169.121 (61.135.169.121): icmp_seq=6 ttl=128 time=21.8 ms
**尖叫提示：采用****root****角色编译，减少文件夹权限出现问题**

2、jar包准备(hadoop源码、JDK7 、 maven、 ant 、protobuf)

hadoop版本>=2.7：要求Java 7(openjdk/oracle)
hadoop版本<=2.6：要求Java 6(openjdk/oracle)
（1）hadoop-2.8.2-src.tar.gz
（2）jdk-7u79-linux-x64.gz
（3）apache-ant-1.9.9-bin.tar.gz
（4）apache-maven-3.0.5-bin.tar.gz
（5）protobuf-2.5.0.tar.gz
（6）snappy-1.1.3.tar.gz

3、jdk安装

Jdk解压、配置环境变量 JAVA_HOME和PATH

[root@node1 software]# tar -xzvf jdk-7u79-linux-x64.gz -C /opt/module/
[root@node1 software]# vi /etc/profile
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.7.0_79
export PATH=$PATH:$JAVA_HOME/bin
[root@node1 software]# source /etc/profile
[root@node1 software]# java -version
**尖叫提示：所有操作必须在****root****用户下完成**

4、Maven安装

Maven解压、配置环境变量 MAVEN_HOME和PATH

[root@node1 software]# tar -xzvf apache-maven-3.0.5-bin.tar.gz -C /opt/module/
[root@node1 software]# vi /etc/profile
#MAVEN_HOME
export MAVEN_HOME=/opt/module/apache-maven-3.0.5
export PATH=$PATH:$MAVEN_HOME/bin
[root@node1 software]# source /etc/profile
[root@node1 software]# mvn -version

5、ant安装

ant解压、配置环境变量 ANT_HOME和PATH

[root@node1 software]# tar -zxvf apache-ant-1.9.9-bin.tar.gz -C /opt/module/
[root@node1 software]# vi /etc/profile
#ANT_HOME
export ANT_HOME=/opt/module/apache-ant-1.9.9
export PATH=$PATH:$ANT_HOME/bin
[root@node1 software]# source /etc/profile
[root@node1 software]# ant -version

6、安装 glibc-headers 和 g++

[root@node1 software]# yum install glibc-headers
[root@node1 software]# yum install gcc-c++

7、安装make和cmake

[root@node1 software]# yum install make
[root@node1 software]# yum install cmake

8、 protobuf安装

protobuf解压、编译、安装、配置环境变量 LD_LIBRARY_PATH和PATH

[root@node1 software]# tar -xzvf protobuf-2.5.0.tar.gz -C /opt/module/
[root@node1 software]# cd /opt/module/protobuf-2.5.0/
[root@node1 protobuf-2.5.0]# ./configure
[root@node1 protobuf-2.5.0]# make
[root@node1 protobuf-2.5.0]# make check
[root@node1 protobuf-2.5.0]# make install 
[root@node1 protobuf-2.5.0]# ldconfig 
[root@node1 protobuf-2.5.0]# vi /etc/profile
#LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/opt/module/protobuf-2.5.0
export PATH=$PATH:$LD_LIBRARY_PATH
[root@node1 protobuf-2.5.0]# source /etc/profile
[root@node1 protobuf-2.5.0]# protoc --version

9、安装openssl库

[root@node1 software]# yum install openssl-devel

10、安装 ncurses-devel库

[root@node1 software]# yum install ncurses-devel

11、安装其他编译库

[root@node1 software]# yum install svn
[root@node1 software]# yum install autoconf automake libtool cmake
[root@node1 software]# yum install gcc*

12、编译安装snappy

snappy解压、编译、安装

[root@node1 software]# tar -xzvf snappy-1.1.3.tar.gz -C /opt/module/
[root@node1 software]# cd /opt/module/snappy-1.1.3/
[root@node1 snappy-1.1.3]# ./configure
[root@node1 snappy-1.1.3]# make
[root@node1 snappy-1.1.3]# make install

#查看snappy库文件
[root@node1 snappy-1.1.3]# ls -lh /usr/local/lib |grep snappy

13、编译安装protobuf

protobuf 解压、编译、安装

[root@node1 software]# tar -xzvf protobuf-2.5.0.tar.gz -C /opt/module/
[root@node1 software]# cd /opt/module/ protobuf-2.5.0/
[root@node1 protobuf-2.5.0]# ./configure
[root@node1 protobuf-2.5.0]# make
[root@node1 protobuf-2.5.0]# make install

查看protobuf版本是否安装成功
[root@node1 protobuf-2.5.0]# protoc --version

14、编译Hadoop 源码

Hadoop 源码解压、编译

[root@node1 software]# tar -xzvf hadoop-2.8.2-src.tar.gz -C /opt/module
[root@node1 software]# cd /opt/module/hadoop-2.8.2-src

[root@node1 hadoop-2.8.2-src]# mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy
等待时间20分钟左右，最终成功是全部SUCCESS执行成功后，/opt/module /hadoop-2.8.2-src/hadoop-dist/target/hadoop-2.8.2.tar.gz即为新生成的支持snappy压缩的hadoop二进制安装包, 
 编译期间maven报错,可能网络阻塞问题导致依赖库下载不完整导致，多次执行命令（一次通过比较难）

15、常见的问题及解决方案

编译期间maven报错,可能网络阻塞问题导致依赖库下载不完整导致，多次执行命令（一次通过比较难）
1）修改maven仓库地址

[root@node1 ~]# cd /opt/module/apache-maven-3.0.5/conf
[root@node1 conf]# pwd
/opt/module/apache-maven-3.0.5/conf
[root@node1 conf]# vim settings.xml
<localRepository>/opt/module/apache-maven-3.0.5/repository</localRepository>

2）修改maven镜像，下载大部分依赖库后，再删除添加的镜像，否则有的依赖库下载不下来

<mirrors>

      <mirror>
           <id>nexus-aliyun</id>
           <name>Nexus aliyun</name>
           <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
           <mirrorOf>central</mirrorOf>
      </mirror>

      <mirror>
           <id>repo2</id>
           <name>Mirror from Maven Repo2</name>
           <url>http://repo2.maven.org/maven2/</url>
           <mirrorOf>central</mirrorOf>
      </mirror>

      <mirror>
           <id>centor</id>
           <name>Mirror from Maven central</name>
           <url>http://central.maven.org/maven2/</url>
           <mirrorOf>central</mirrorOf>
     </mirror>

 </mirrors>