几个常用快速无损压缩算法性能比较

Snappy是谷歌开发的压缩库,专注于高速压缩和解压缩,而非最高压缩比。在Intel酷睿i7处理器上,单核压缩速度可达250MB/s,解压缩速度可达500MB/s。它在Google内部被广泛应用于BigTable、MapReduce等项目。Snappy与其他语言如C#、Java、Python等有绑定实现,也在MongoDB、Cassandra等软件中使用。相比于zlib和LZO,Snappy在速度上有优势,但在压缩率上较低。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Snappy


Snappy是在谷歌内部生产环境中被许多项目使用的压缩库,包括BigTable,MapReduce和RPC等。谷歌表示算法库针对性能做了调整,而不是针对压缩比或与其他类似工具的兼容性。在Intel酷睿i7处理器上,其单核处理数据流的能力达到250M/s-500M/s。Snappy同时针对64位x86处理器进行了优化,在英特尔酷睿i7处理器单一核心实现了至少250MB/s的压缩性能和500MB/ s的解压缩性能。Snappy对于纯文本的压缩率为1.5-1.7,对于HTML是2-4,当然了对于JPEG、PNG和其他已经压缩过的数据压缩率为1.0。谷歌强劲吹捧Snappy的鲁棒性,称其是“即使面对损坏或恶意输入也不会崩溃的设计”,并且在谷歌的生产环境中经过了PB级数据压缩的考验而稳定的。
官方网站:snappy | A fast compressor/decompressor

Snappy是一个压缩/解压缩库。它不旨在最大程度地压缩,也不旨在与任何其他压缩库兼容。相反,它的目标是非常高的速度和合理的压缩。例如,与zlib最快的模式相比,Snappy对于大多数输入而言要快一个数量级,但是生成的压缩文件要大20%至100%。在64位模式的Core i7处理器的单核上,Snappy的压缩速度约为250 MB / sec或更高,而解压缩的速度约为500 MB / sec或更高。

Snappy在Google内部广泛使用,从BigTable和MapReduce到我们的内部RPC系统,一应俱全。(在某些演示文稿等中,Snappy以前被称为“ Zippy”。)

有关更多信息,请参见README。源代码分发中包含针对其他一些压缩库(zlib,LZO,LZF,FastLZ和QuickLZ)的基准。源代码还包含一个 正式的格式规范,以及一个框架格式的规范,该格式可用于Snappy数据的更高层次的框架和封装,例如,用于以流方式在HTTP上传输Snappy压缩的数据。请注意,Snappy发行版当前没有实现后者的代码,但是某些端口可以实现(请参见下文)。

Snappy用C ++编写,但包含C绑定,并且第三方维护与其他语言的多个绑定:

Snappy在以下软件中已使用或可以作为替代软件使用:

FastLZ


FastLZ是一个高效的轻量级压缩解压库,其官方测试数据如下表:

官方网站:http://www.quicklz.com/

LZO/miniLZO


LZO是一个开源的无损压缩C语言库,其优点是压缩和解压缩比较迅速占用内存小等特点(网络传输希望的是压缩和解压缩速度比较快,压缩率不用很高),其提供了比较全的LZO库和一个精简版的miniLZO库,网上测试数据如下:
测试的时候使用bmp和文本文件,在X86的Linux虚拟机(单核256M内存,Debian 6.0 OS)上测试。

测试文件

原始大小

压缩后大小

压缩率

压缩时间

解压时间

1.bmp     

5292054 

159395

3.01%

9.174ms

23.037ms

2.bmp     

6912056 

33806     

0.489%

8.33ms

36.17ms

3.bmp     

6220856 

5101891 

82%

25.78ms

28.43ms

lzo.tar

6645760 

2457890 

36.98%

34.68ms

38.62ms

kdoc.tar

16660480

6987402

41.93%

102.86ms

108.2ms

kinc.tar

18257920

5684927 

31.13%   

106.87ms

113.86ms

官方网站:http://www.oberhumer.com/opensource/lzo/

  • LZO Professional 是我们的商业LZO许可计划。
  • 如果需要更好的压缩,则应查看出色的zlib库。zlib较慢,并且需要更多内存。
  • 为了获得更好的压缩效果,请考虑使用随bzip2文件压缩程序一起分发的libbzip2
  • 文件压缩器应用程序lzop 使用LZO-与gzip非常相似, 但速度更快。
  • lzop:http://www.lzop.org/

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

smartvxworks

创造不易,感谢支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值