Hadoop在安装snappy过程中的问题

环境介绍：

• Linux2.6.32-504.el6
• hadoop-2.7.3
• openjdk-1.7

问题：

　　测试机中已经有一套搭建好了的Hadoop集群，所以在往生产环境部署Hadoop集群时，直接将测试机中编译好的Hadoop版本上传到生产环境中即可，然后修改下配置文件集群就搭建成功了。但由于当时在搭建集群时没有考虑使用snappy来对文件压缩，所以在Hadoop的动态库中就没有Snappy的库，导致在运行hadoop checknative -a检查集群是否支持snappy时出现了如下情况：

　　可以明显看到，在snappy那一项中显示false。所以即使把snappy安装好，Hadoop还是无法支持snappy

原因：

　　查找了很多博客，大多数都是说在Hadoop进行源码编译时没有添加对snappy的支持。查看了下测试机上的Hadoop编译好的版本，在lib目录下是有snappy库的，但在线上的版本就是无法支持snappy。最后发现原来测试机以前在部署好后也是没有添加snappy的库。snappy库是最后安装才添加的，而我当时拷贝的是以前编译好的版本，所以就没有snappy库，无法支持sanppy。

解决方法：

　　1、安装snappy

　　到官网http://code.google.com/p/snappy/ 或者到https://github.com/google/snappy下载源码。目前最新的版本是1.1.7.由于测试环境中使用的是1.1.1，所以下载对应的1.1.1版本就好。

　　2、解压安装

　　解压tar -zxvf snappy-1.1.1.tar.gz.然后用root用户执行以下三步进行编译安装：

./configure
make
make install

　　默认安装到/usr/local/lib/下。查看该目录如下：

　

　　编译过程中没有报错，并且可以看见以上动态库，则表示snappy编译安装成功了。

　　3、重新编译Hadoop动态库

　　重新编译Hadoop动态库来支持snappy（在安装snappy之后进行编译），把重新编译生成的Hadoop动态库替换原来的动态库。命令如下：

mvn package -Pdist,native -DskipTests -Dtar  -Drequire.snappy

　　说明：-Drequire.snappy=/xxx/xxx/xxx 后面可以跟snappy安装后的路径。如果没有指定路径，则默认在/usr/local/lib下。

　　由于测试机上有已经编译好了的动态库所以拷贝到线上环境就好。拷贝到$HADOOP_HOME/lib目录下。

　　4、检测

　　执行hadoop checknative -a 看现在是否支持snappy，结果如下：

　　结束！

转载于:https://www.cnblogs.com/l5623064/p/9889302.html