目录
关于CSharp System.IO.Compression.DeflateStream
开发者之一 Mark Adler 在 StackOverflow 上的回答
介绍
近期用c#开发一个游戏的存档编辑工具需要用 Zlib 标准的 Deflate 算法对数据进行解压。 在 StackOverflow 上逛了一圈,发现 c# 比较常用到的方式是微软提供的 System.IO.Compression, zlib.net, 以及 ICSharpCode 的SharpZipLib。我简单的测试和包装了一下,便在这里分享一下成果以及我个人的看法。
System.IO.Compression
通常来说,使用c#开发时能用微软官方提供的工具就尽量用,一个是bug会比较少,维护会比较稳定。此外,官方提供的方案往往在优化上也会高于第三方工具。
虽然在.NET Framework 4.5 开始 System.IO.Compression.DeflateStream 也使用Zlib进行Deflate格式的压缩与解压了,但经过测试其压缩和解压结果与其他Zlib库有所不同.
仔细观察就会发现,用 DeflateStream 压缩后的数据开头比Zlib压缩的数据少两个字节,结尾比Zlib少四个字节; 这种输出格式叫做 Raw Deflate 。
经过查证,C# 提供的 DeflateStream只能压缩成或者解压这种Raw Deflate, 而不能处理标准的 Zlib Deflate 格式 (不过据说可以自己生成); 但反过来,Zlib 可以处理或生成这种不包含头尾数据的Raw Deflate.
当然,你也可以选择手动添加 header 和 trailer. 具体怎么添加可以阅读文末链接的参考资料,由于不是特别重要,我就偷个懒了。
// 使用System.IO.Compression进行Deflate压缩
public static byte[] MicrosoftCompress(byte[] data)
{
MemoryStream uncompressed = new MemoryStream(data); // 这里举例用的是内存中的数据;需要对文本进行压缩的话,使用 FileStream 即可
MemoryStream compressed = new MemoryStream();
DeflateStream deflateStream = new DeflateStream(compressed, CompressionMode.Compress); // 注意:这里第一个参数填写的是压缩后的数据应该被输出到的地方
uncompressed.CopyTo(deflateStream); // 用 CopyTo 将需要压缩的数据一次性输入;也可以使用Write进行部分输入
deflateStream.Close(); // 在Close中,会先后执行 Finish 和 Flush 操作。
byte[] result = compressed.ToArray();
return result;
}
// 使用System.IO.Compression进行Deflate解压
public static byte[] MicrosoftDecompress(byte[] data)
{
MemoryStream compressed = new MemoryStream(data);
MemoryStream decompressed = new MemoryStream();
DeflateStream deflateStream = new DeflateStream(compressed, CompressionMode.Decompress); // 注意: 这里第一个参数同样是填写压缩的数据,但是这次是作为输入的数据
deflateStream.CopyTo(decompressed);
byte[] result = decompressed.ToArray();
return result;
}
zlib.net
zlib.net是一个非常小体量的开源的第三方工具。经过本人有限的研究和了解,这个库其实更像是一个半成品,许多功能都不完善,不过优点在于非常轻巧,而且与c++端使用 boost::iostreams::zlib 效果相同。
以下是用 zlib.net 提供的 ZOutputStream 类来压缩数据的代码
public static byte[] ZLibDotnetCompress(byte[] data)
{
MemoryStream compressed = new MemoryStream();
ZOutputStream outputStream = new ZOutputStream(compressed, 2);
outputStream.Write(data, 0, data.Length); // 这里采用的是用 Write 来写入需要压缩的数据;也可以采用和上面一样的方法
outputStream.Close();
byte[] result = compressed.ToArray();
return result;
}
以下是用zlib.net 提供的 ZInputStream 类来解压数据的代码
public static byte[] ZLibDotnetDecompress(byte[] data, int size)
{
MemoryStream compressed = new MemoryStream(data);
ZInputStream inputStream = new ZInputStream(compressed);
byte[] result = new byte[size]; // 由于ZInputStream 继承的是BinaryReader而不是Stream, 只能提前准备好输出的 buffer 然后用 read 获取定长数据。
inputStream.read(result, 0, result.Length); // 注意这里的 read 首字母是小写
return result;
}
你需要通过read来获取解压后的数据,同时你要在调用其解压的方法时提前提供好外部的buffer用于储存输出的数据,这个buffer的大小就是一个问题了。
如果打算使用这个的话,建议除了储存压缩的数据以外,在不会被压缩的位置添加压缩前大小的数据。
但总体来说,个人不建议使用这个工具。
https://github.com/zyborg/zlib.net
http://www.componentace.com/zlib_.NET.htm
SharpZipLib
我最终选择使用的是 SharpZipLib. (编辑:当时没做速度测试,且我需要解压的文件不是太大,速度也不是很重要,否则的话不推荐选择这个方案。。。)
ICSharpCode 不愧是开发了 ILSpy 的团队,SharpZipLib 在提供强大的功能的同时,使用也很方便。限于主题,这里只讨论用 Deflate 格式来压缩数据流。
简单来说,你需要做的就是通过 DeflaterOutputStream 来压缩,InflaterInputStream 来解压,而除了压缩和解压分在两个不同的类以外,其他的操作方式和 System.IO.Compression.DeflateStream 可以做到完全一样。
而且其压缩和解压的结果和直接使用Zlib官方的库一模一样,开发辅助其他程序的工具时不用担心头尾数据的问题,算是非常省事了。
以下是我使用该方案简单包装的方法:
public static byte[] SharpZipLibCompress(byte[] data)
{
MemoryStream compressed = new MemoryStream();
DeflaterOutputStream outputStream = new DeflaterOutputStream(compressed);
outputStream.Write(data, 0, data.Length);
outputStream.Close();
return compressed.ToArray();
}
public static byte[] SharpZipLibDecompress(byte[] data)
{
MemoryStream compressed = new MemoryStream(data);
MemoryStream decompressed = new MemoryStream();
InflaterInputStream inputStream = new InflaterInputStream(compressed);
inputStream.CopyTo(decompressed);
return decompressed.ToArray();
}
速度对比
为了对比几种方法在压缩与解压效率上的优劣,我准备了两组数据做了一个简单的测试。
第一组为短数据,是一个简单的字符串 “this is just a string for testing, see how this compression thing works.”
第二组为长数据,是在网上下载到的英文版的 《冰与火之歌:权利的游戏》txt文本,大小约1.7mb。
我分别用每个方法压缩和解压短数据1000次,长数据100次, 最终的结果如下:
Length of Short Data: 144
Length of Long Data: 1685502
============================================
Compress and decompress with Microsoft Zlib Compression (1000 times): 54
Compress and decompress with Microsoft Zlib Compression (long data 100 times): 7924
============================================
Compress and decompress with Zlib.net Compression (1000 times): 254
Compress and decompress with Zlib.net Compression (long data 100 times): 9924
============================================
Compress and decompress with SharpZipLib Compression (1000 times): 442
Compress and decompress with SharpZipLib Compression (long data 100 times): 26782
显而易见的,无论是长数据还是短数据的压缩与解压,System.IO.Compression中提供的方法都优于另外两种方法。
Zlib.net在速度上的劣势不明显,而同样的算法SharpZipLib要花两到三倍的时间。
总结
最终,不出所料的,微软官方提供的 System.IO.Compression 中的方法在速度上有着明显的优势;虽然不会提供Deflate的头尾信息,但可以想办法自己生成,而且这一缺点基本上是可以完全忽略的。 Zlib.net 虽然在速度上表现也不错,同时也会生成Deflate压缩的头尾信息,但因为其包装比较潦草,使用起来相对不方便。而 SharpZipLib 很可惜,虽然其他各方面都很方便,但速度上的缺陷相当致命,只能在一定需要 Deflate 而非 RawDeflate 或者使用的.Net Framework早于4.5的时候(且运行中时间消耗不重要)偷懒的用一用了。
参考与延申
关于Zlib
关于 Deflate 和 Raw Deflate
https://stackoverflow.com/questions/37845440/net-deflatestream-vs-linux-zlib-difference
https://www.ietf.org/rfc/rfc1950.txt
https://www.ietf.org/rfc/rfc1951.txt
关于CSharp System.IO.Compression.DeflateStream
DeflateStream Class (System.IO.Compression) | Microsoft Docs
开发者之一 Mark Adler 在 StackOverflow 上的回答
deflate 和 compress 函数的区别
https://stackoverflow.com/questions/10166122/zlib-differences-between-the-deflate-and-compress-functions/10168441#10168441
如何手动添加 header 和 trailer
https://stackoverflow.com/questions/39939869/data-format-for-system-io-compression-deflatestream