本文介绍了如何在CDH版本的Hadoop中安装和配置Lzo与Snappy压缩。首先，通过hadoop checknative命令检查系统支持的压缩方式。然后，提供了针对CentOS 7和CDH 5.8.3的RPM包下载链接，分别安装Snappy和Lzo。安装完成后，将库文件和jar包复制到Hadoop目录，并在集群中分发，最后重启集群。
注：本文针对的是使用命令行安装和配置CDH Hadoop，如果你使用RPM或者ClouderaManager，基本可以忽略此文。
Hadoop在计算和存储过程中，支持对文件进行压缩，可以使用hadoop checknative命令来查看：
其中，像zlib、lz4、bzip2，会使用系统库，那么需要在Hadoop所在机器上先安装这些。
Snappy和Lzo，需要单独安装配置，CDH版本的hadoop，已经为每一个版本及操作系统编译好了Snappy和Lzo库（RPM），可以通过RPM来获得。
http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.8.3/RPMS/x86_64/
Snappy库可以从上面链接中的Hadoop RPM包中获取，注意：需要找到正确的操作系统及cdh版本，我使用的操作系统为centos 7，cdh5.8.3.
http://archive.cloudera.com/gplextras5/redhat/7/x86_64/gplextras/5.8.3/RPMS/x86_64/
最低0.47元/天 解锁文章
1790
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
