快速为CDH版本HADOOP安装配置Lzo和Snappy压缩

注:本文针对的是使用命令行安装和配置CDH Hadoop,如果你使用RPM或者ClouderaManager,基本可以忽略此文。

Hadoop在计算和存储过程中,支持对文件进行压缩,可以使用hadoop checknative命令来查看:

hadoop

其中,像zlib、lz4、bzip2,会使用系统库,那么需要在Hadoop所在机器上先安装这些。

Snappy和Lzo,需要单独安装配置,CDH版本的hadoop,已经为每一个版本及操作系统编译好了Snappy和Lzo库(RPM),可以通过RPM来获得。


 

http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.8.3/RPMS/x86_64/

Snappy库可以从上面链接中的Hadoop RPM包中获取,注意:需要找到正确的操作系统及cdh版本,我使用的操作系统为centos 7,cdh5.8.3.

hadoop


http://archi

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值