谷歌的Snappy压缩算法

很多时候,我们需要快速的压缩大量的数据,在磁盘IO和cpu之间做一个权衡,以便使程序跑得更快。Snappy就是这样一种快速的数据压缩算法。对于一个核的i7处理器(64位模式),能达到250M/s以上的处理速度。

Snappy通常在达到相当压缩的情况下,要比同类的快速的压缩算法,如LZO,LZF,FastLZ和QuickLZ快。它对纯文本的压缩比大概是1.5~1.7x,对HTML网页是2-4x,对图片等二进制数据基本没有压缩,为1x。

Snappy分别对64位和32位处理器进行了优化,不论32位处理,还是64位处理器都能达到很高的效率。据官方介绍,Snappy经过了pb级别的大数据的考验,稳定性方便没有问题,Google的很多框架如map reduce、rpc等都用到了Snappy压缩算法。

我目前在写mapreduce的程序的时候就用的改压缩算法,效果还不错。

Snappy的开源代码放在google code上:http://code.google.com/p/snappy/,采用New BSD License开源。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值