集群中增加snappy压缩库

最新推荐文章于 2024-11-06 00:18:23 发布

不急吃口药

最新推荐文章于 2024-11-06 00:18:23 发布

阅读量250

点赞数

分类专栏：大数据资料笔记整理

本文链接：https://blog.csdn.net/huang66666666/article/details/102398631

版权

这篇博客介绍了如何检查和确认Hadoop集群是否已经支持Snappy压缩库，并详细阐述了安装和编译Snappy库的过程，包括解决编译过程中遇到的protoc版本问题和cmake错误。通过这些步骤，可以将Snappy库集成到Hadoop的native库中，以提升数据处理效率。

摘要由CSDN通过智能技术生成

查看hadoop集群是否支持snappy库(可以看到snappy是没有安装的)：

$ hadoop checknative
16/12/06 15:08:39 WARN bzip2.Bzip2Factory: Failed to load/initialize native-bzip2 library system-native, will use pure-Java version
16/12/06 15:08:39 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop:  true /Users/hadoop/hadoop-2.7.2/lib/native/libhadoop.dylib
zlib:    true /usr/lib/libz.1.dylib
snappy:  false
lz4:     true revision:99
bzip2:   false 
openssl: false build does not support openssl.

安装snappy

下载编译snappy：

$ wget https://github.com/google/snappy/releases/download/1.1.3/snappy-1.1.3.tar.gz
$ tar xvfz snappy-1.1.3.tar.gz
$ cd snappy-1.1.3/
$ ./configure
$ make
$ sudo make install