数据流压缩之应用篇zlib库

关于数据流压缩的原理,lz77以及huffman编码可以参考上一篇:

https://blog.csdn.net/sesiria/article/details/116835301

 

本篇将包含以下内容:

1. gzip格式分析

2. zlib库函数API分析

3. zlib库实战(压缩和解压文件)

 

gzip格式采用deflate算法来实现数据的压缩

一、deflate采用了改进版的lz77算法

即:三个字节以上重复才进行编码,否则不进行编码;即对滑动窗口进行查询的时候最短的匹配大小为3个字节。

为什么要最小匹配3个字节呢? 这是由于,在gzip中,<匹配长度,到匹配串开头的距离>对中,“匹配长度”的范围为3-258,也就是有256种可能指,需要8bit来保存。 “到匹配 串开头的距离"范围 为0~32k,需要15bit来保存。 所以一个<匹配长度,到匹配串开头的距离>对需要23位,差一位3个字节。

如果一个匹配串小于3个字节,使用<匹配长度,到匹配串开头的距离>对进行替换,不但没有压缩,反而还会增大。所以保存<匹配长度,到匹配串开头的距离>所队应的位数,决定了最小匹配长度至少要为3个字节。

 

deflate无损压缩解压算法(先lz77压缩,然后huffman编码)

deflate中的huffman编码:

对lz77得到的压缩后结果,需要统计字符生成编码表huffmantree,根据码表对内容进行编码,从而实现压缩的效果。

编码表hufmantree和编码后的data都放在一个文件中。

deflate中欧弄个的解压:

读取二进制文件,构建huffmantree表,读取数据根据huffmantree生成字符

接着用lz77解码,进行搜索匹配并替换为队应的串。

 

todo: 基于先使用lz77 最短3字节编码,后使用huffman编码的deflate压缩算法的实现:

 

二、gzip格式分析

gzip的压缩原理:先使用lz77算法的 一个变种进行压缩,对得到的结果再使用huffman编码进行压缩;

bzip2的压缩原理:使用了一个游程编码器进行编码,接下来块排序压缩和Move-to-front(MTF)变换进一步产生大量相同符号,进一步使用另一个游程编码器进行编码。最后使用huffman编码,将一个消息头与其打包;

LZMA编码:它是deflate和lz77算法改良和优化后的压缩算法,而Deflate是同时使用了lz77算法与huffman编码的一个无损 数据压缩算法。

deflate(RFC1951):一种压缩算法,使用 LZ77 和哈夫曼进行编码;
zlib(RFC1950):一种格式,是对 deflate 进行了简单的封装,他也是一个实现库(delphi
中有 zlib,zlibex);
gzip(RFC1952):一种格式,也是对 deflate 进行的封装;
https://www.rfc-editor.org/rfc/rfc1952.txt

 

gzip = gzip头 + deflate编码的实际内容 + gzip尾

zlib = zlib头 + deflate编码的实际内容 + zlib尾

GZIP本身只是一种文件格式,其内部通常采用Deflate数据格式,而Deflate采用lz77压缩算法来压缩数据。

GZIP文件由1~多个块组成,实际上通常只有1个块。每个块包含头,数据和尾三部分。

块的大概结构如下:

 

1. 头部分

ID1ID2:各1字节。固定值,ID1 = 31(0x1F), ID2 = 139(0X8B), 指示GZIP格式。

CM: 1字节。表示压缩方法。目前只有一种: CM = 8, 指Deflate算法。

FLG: 1字节,标志位。

     bit 0 FTEST - 指示文本数据

     bit 1 FHCRC - 指示存在CRC16头校验字段

     bit 2 FEXTRA - 指示存在可选字段

     bit 3 FNAME - 指示存在原文件名字段

     bit 4 FCOMMENT - 指示存在注释字段

     bit 5-7 保留

MTIME: 4字节。更改时间。UNIX格式。

XLF: 1字节。 附加的标志。当CM=8时, XFL = 2 表示采用最大压缩但最慢的算法;

         XFL=4  表示最快但最小的压缩算法

OS: 1字节。操作系统,确切说应该是文件系统。有如下定义:

       0 - FAT文件系统 (MS-DOC, OS/2, NT/Win32)

       1 - Amiga

       2 - VMS/OpenVMS

       3 - Unix

       4 - VM/CMS

       5 - Atari TOS

       6 - HPFS 文件xitong (OS/2, NT)

       7 - Macintosh

       8 - Z-System

       9 - CP/M

     10 - TOPS-20

     11 - NTFS

     12 - QDOS

     13 - Acorn RISCOS

   255 - 未知

 

额外的头字段:

若FLG.FEXTRA = 1

+---+---+---+---+===============//=========

  • 1
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
### 回答1: zlib是一个常用的压缩,主要用于在Linux环境下进行数据压缩和解压缩的操作。它是开放源代码的,使用广泛,并且具有高性能和高压缩比的特点。 zlib中提供了一系列函数,可以方便地进行数据的压缩和解压缩操作。压缩函数可以将数据流压缩为较小的大小,使得数据在传输和存储时占用较少的空间。解压缩函数则可以将压缩数据流还原为原始数据形式,方便进行后续的处理和使用。 使用zlib进行数据压缩操作非常简单。我们只需要使用zlib提供的压缩函数,将待压缩的数据输入,指定压缩级别,然后得到压缩后的数据流。同样,进行数据解压缩操作也很方便,只需要使用zlib提供的解压缩函数,将压缩后的数据流输入,即可得到原始数据。 zlib在Linux环境下广泛应用于各种场景,例如网络传输中对数据进行压缩,文件系统中对文件进行压缩,以及数据中对大量数据进行压缩存储等。由于zlib具有高性能和高压缩比的特点,因此可以快速和有效地处理大量的数据,节省存储和传输的空间。 总之,zlib是一个强大的压缩,它在Linux环境下提供了丰富的压缩和解压缩函数,可以方便地进行数据压缩和解压缩的操作。无论是在网络传输、文件存储还是数据处理等方面,使用zlib都能够有效地提升性能和节省空间。 ### 回答2: zlib是一个免费开源的压缩,用于在c和linux环境中进行数据压缩和解压缩。它由Jean-loup Gailly和Mark Adler创建,经过多年的开发和改进,成为了在各种软件应用中广泛使用的标准zlib提供了一组用于压缩和解压缩数据的函数,这些函数可以被C程序调用。它支持包括deflate和inflate在内的多种压缩和解压缩算法,能够处理各种类型的数据,包括文本、图像、音频等等。同时,zlib还提供了一些辅助函数,用于处理压缩数据的检验和生成adler32或crc32校验值。 使用zlib进行压缩和解压缩很简单。首先,需要包含zlib头文件,并链接zlib文件。然后,可以使用zlib提供的函数来进行数据压缩和解压缩操作。压缩数据时,可以选择压缩级别,并将原始数据和压缩后的数据存储在相应的缓冲区中。解压缩数据时,则需要提供压缩数据和解压后的数据的缓冲区。通过控制函数的参数,可以实现对数据的高效压缩和解压缩zlib在Linux环境下得到了广泛的应用。它可以用于压缩和解压缩文件,以减小存储空间和网络传输量。许多常见的文件压缩格式,如gzip和png,都使用了zlib。此外,zlib还被用于许多其他软件中,例如Web服务器、数据管理系统等等。 总而言之,zlib是在c和linux环境中使用的一款强大的压缩。它提供了简单易用的接口,可以实现高效的数据压缩和解压缩操作。通过使用zlib,我们可以减小数据的存储空间和传输带宽,提高系统的性能和效率。 ### 回答3: zlib是一个常用的压缩,简单而且高效。在Linux环境下,使用zlib可以实现数据的压缩和解压缩。 要在Linux环境中使用zlib,首先需要下载并安装zlib。可以从zlib的官方网站下载源代码,然后编译和安装。 安装完成后,就可以在程序中使用zlib。在C语言中,可以通过#include <zlib.h>来引入zlib的头文件,然后就可以使用zlib提供的函数和数据类型了。 zlib提供了一系列的函数,用于压缩和解压缩数据。常用的函数有: 1. deflateInit()和deflate():用于压缩数据。首先需要调用deflateInit()初始化压缩器,然后使用deflate()函数进行数据的实际压缩。 2. inflateInit()和inflate():用于解压缩数据。与压缩相似,首先需要调用inflateInit()初始化解压缩器,然后使用inflate()函数进行数据的实际解压缩。 另外,zlib还提供了一些其他的函数,用于控制压缩和解压缩的参数,以及错误处理。 使用zlib进行压缩和解压缩操作时,需要提供输入数据和输出数据的缓冲区,并指定相应的数据长度。压缩和解压缩操作是在内存中进行的,所以需要保证缓冲区的大小足够。 总之,zlib是一个功能强大的压缩,在Linux环境中使用方便。通过学习和掌握zlib的使用,可以实现高效的数据压缩和解压缩
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值