hadoop集群安装压缩工具snappy(用于hbase)

本文详细介绍了如何在Hadoop集群上安装和配置Snappy压缩,以提高数据处理效率并节省存储成本。首先,准备并安装必要的软件包,如snappy、protobuf和findbugs,然后编译和配置Hadoop及hadoop-snappy库,最后通过修改配置文件启用Snappy压缩,并在HBase中创建和管理压缩表。
摘要由CSDN通过智能技术生成

hadoop集群安装https://blog.csdn.net/weixin_40596016/article/details/80392109

    之前配置ganglia监控hadoop集群,发现cpu的负载并不是很高。所以为了节省服务器的存储成本,并提高吞吐,打算开启HBase的数据压缩。主流的HBase压缩方式有LZO和Snappy,Snappy的压缩比会稍微优于LZO。相比于gzip,Snappy压缩率不如gzip,但是压缩和解压缩速度有很大优势。而且节省cpu资源。

hadoop默认没有支持snappy压缩,需要我们自己编译 才能支持snappy的压缩。

安装包准备:

    snappy-1.1.3.tar.gz

    protobuf-2.5.0.tar.gz

    findbugs-3.0.1.tar.gz

    apache-maven-3.5.4-bin.tar.gz

    hadoop-2.7.6-src.tar.gz

    hadoop-snappy-master.zip

安装基础软件:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值