压缩算法详解_压缩数据静态还是动态-CSDN博客

本文链接：https://blog.csdn.net/weixin_43484713/article/details/147723516

在数字化时代，数据量呈爆炸式增长，无论是存储还是传输，都面临着巨大的挑战。而压缩算法，作为应对这一挑战的关键技术，正发挥着举足轻重的作用。

无损压缩算法

哈夫曼编码

哈夫曼编码（Huffman Coding）是一种基于字符出现频率的无损数据压缩算法。它由大卫·哈夫曼（David A. Huffman）于1952年提出，广泛应用于文件压缩（如ZIP、JPEG等格式）和通信领域。

核心思想

频率统计：统计待压缩数据中每个字符的出现频率。
构建哈夫曼树：
- 将每个字符视为一个叶子节点，频率作为权重。
- 每次选择权重最小的两个节点合并为一个新节点，新节点的权重为子节点权重之和。
- 重复合并过程，直到只剩一个根节点，形成一棵二叉树（哈夫曼树）。
生成编码：
- 从根节点出发，向左分支标记为0，向右分支标记为1。
- 每个字符的编码是从根到其叶子节点的路径上的0/1序列。

特点

前缀编码：任何字符的编码都不是其他字符编码的前缀，避免解码歧义。
最优性：对于给定的频率分布，哈夫曼编码的平均码长最短（在同类算法中）。

示例

假设字符频率：A:5, B:9, C:12, D:13, E:16, F:45。
构建哈夫曼树后，可能的编码结果：

F:0, C:100, D:101, A:1100, B:1101, E:111。

应用场景

文本压缩（如ZIP）。
图像压缩（如JPEG的熵编码阶段）。
实时通信数据传输优化。

行程长度编码（RLE）

定义
行程长度编码（Run-Length Encoding，RLE）是一种简单的无损数据压缩算法，适用于连续重复数据较多的场景。其核心思想是将连续的重复数据值替换为单个数据值及其出现次数的组合。

工作原理

编码过程：扫描原始数据，记录连续重复的字符及其重复次数。
- 示例：字符串 AAAABBBCCDAA 编码为 4A3B2C1D2A。
解码过程：根据编码后的数据，按次数还原重复字符。
- 示例：4A3B2C1D2A 解码为 AAAABBBCCDAA。

特点

优点：
- 实现简单，计算效率高。
- 对连续重复数据（如二值图像、简单图形）压缩效果显著。
缺点：
- 若数据重复率低（如随机文本），压缩后可能比原始数据更大。
- 不适用于复杂或非重复模式的数据。

应用场景

黑白图像或简单图标压缩（如BMP、PCX文件格式）。
传真机传输中的图像数据压缩。
早期视频编码中的帧内压缩。

C++简单实现示例

#include <string>
#include <sstream>

std::string RLE_Encode(const std::string &input) {
    std::ostringstream output;
    int count = 1;
    for (size_t i = 1; i <= input.size(); ++i) {
        if (i < input.size() && input[i] == input[i-1]) {
            count++;
        } else {
            output << count << input[i-1];
            count = 1;
        }
    }
    return output.str();
}

字典编码（如LZW）

基本概念

字典编码是一种基于字典的压缩算法，通过构建和维护一个字典（或称为字符串表）来实现数据压缩。LZW（Lempel-Ziv-Welch）是其中最著名的算法之一，由Abraham Lempel、Jacob Ziv和Terry Welch在1984年提出。

核心思想

动态字典：LZW在压缩过程中动态构建字典，初始时字典包含所有可能的单字符（如ASCII字符）。
最长匹配：算法在输入数据中寻找当前字典中存在的最长字符串，输出其对应的索引（码字）。
字典更新：每次匹配后，将当前字符串与下一个字符的组合添加到字典中，以便后续匹配更长的字符串。

压缩流程

初始化字典：填充所有单字符（如0-255）。
读取输入：从输入数据中逐个字符读取，逐步构建当前字符串。
查找字典：检查当前字符串是否存在于字典中：
- 如果存在，继续扩展字符串。
- 如果不存在，输出当前字符串（不含最后一个字符）的索引，并将新字符串加入字典。
重复过程：直到所有输入数据被处理。

解压流程

初始化字典：与压缩时相同，填充单字符。
读取码字：逐个读取压缩后的码字，通过字典查找对应的字符串。
重建字典：每次解码后，将前一个字符串与当前字符串的第一个字符组合，添加到字典中。

特点

自适应：无需预先知道输入数据的统计特性。
高效性：适合重复模式较多的数据（如文本）。
无损失：解压后数据与原始数据完全一致。

应用场景

早期用于GIF图像格式和UNIX的compress工具。
适用于文本、日志文件等重复性高的数据压缩。

示例

假设输入字符串为"ABABABA"：

初始字典：A(0), B(1)。
压缩过程：
- 匹配A，输出0，添加AB到字典（2）。
- 匹配B，输出1，添加BA到字典（3）。
- 匹配AB（字典中存在），输出2，添加ABA到字典（4）。
- 匹配A，输出0。
- 最终输出码流：0, 1, 2, 0。

注意事项

字典大小需限制（如12位码字，最多4096项），超出时需重置或停止更新。
小文件压缩效果可能不明显，因字典初始化占用空间。

算术编码

算术编码是一种无损数据压缩技术，它通过将整个输入数据流映射到一个区间内的实数来表示数据。与霍夫曼编码不同，算术编码不需要为每个符号分配固定长度的编码，而是将整个消息编码为一个单一的浮点数。

基本原理

区间划分：初始区间为 [0, 1)，根据符号的概率分布将其划分为若干子区间。每个符号对应一个子区间，子区间的长度与该符号的概率成正比。
迭代更新：每处理一个符号，当前区间会缩小到该符号对应的子区间。新的区间作为下一步的输入区间，继续划分。
输出结果：最终，任意一个属于最后区间的数都可以作为编码结果。通常选择最短的二进制表示。

示例

假设符号集为 {A, B, C}，概率分布为 A: 0.5，B: 0.3，C: 0.2。编码消息 "BAC"：

初始区间 [0, 1)：
- A: [0, 0.5)
- B: [0.5, 0.8)
- C: [0.8, 1)
处理 B：新区间 [0.5, 0.8)。
- 在 [0.5, 0.8) 内划分：
  - A: [0.5, 0.65)
  - B: [0.65, 0.74)
  - C: [0.74, 0.8)
处理 A：新区间 [0.5, 0.65)。
- 在 [0.5, 0.65) 内划分：
  - A: [0.5, 0.575)
  - B: [0.575, 0.62)
  - C: [0.62, 0.65)
处理 C：新区间 [0.62, 0.65)。
- 最终选择区间内的一个数（如 0.63）作为编码结果。

特点

高效性：接近熵极限，尤其适用于小概率符号较多的数据。
适应性：可以动态调整符号概率（自适应算术编码）。
复杂度：实现较复杂，涉及高精度浮点运算。

应用场景

图像压缩（如JPEG 2000）。
文本压缩（与概率模型结合）。

Deflate算法

Deflate是一种广泛应用于数据压缩的算法，它结合了LZ77算法和哈夫曼编码两种技术。Deflate算法的主要目标是实现高效的无损数据压缩，常用于ZIP、GZIP等文件压缩格式中。

1. LZ77算法阶段

Deflate首先使用LZ77算法对数据进行压缩。LZ77是一种基于字典的压缩算法，它通过查找并替换数据中重复出现的字符串来实现压缩。具体步骤如下：

滑动窗口：LZ77使用一个滑动窗口来维护最近处理过的数据。窗口分为两部分：查找缓冲区（已处理的数据）和前瞻缓冲区（待处理的数据）。
匹配查找：算法在前瞻缓冲区中查找与查找缓冲区中最长的匹配字符串。
三元组编码：如果找到匹配，则输出一个三元组（偏移量，长度，下一个字符）。偏移量表示匹配字符串在查找缓冲区中的位置，长度表示匹配的字符数，下一个字符是匹配后的第一个不匹配字符。

2. 哈夫曼编码阶段

Deflate在LZ77压缩后，使用哈夫曼编码进一步压缩数据。哈夫曼编码是一种变长编码技术，通过为出现频率高的符号分配较短的编码，为出现频率低的符号分配较长的编码，从而实现数据的进一步压缩。

静态哈夫曼编码：Deflate可以使用预定义的哈夫曼编码表，这种方法的优点是编码表不需要存储在压缩数据中，但压缩效率可能较低。
动态哈夫曼编码：Deflate也可以根据实际数据的符号频率动态生成哈夫曼编码表，并将编码表存储在压缩数据中。这种方法压缩效率更高，但需要额外的空间存储编码表。

3. 数据格式

Deflate压缩后的数据通常由以下几部分组成：

头部信息：包含压缩方法和标志位等信息。
压缩数据块：一个或多个数据块，每个数据块可以是未经压缩的原始数据、使用静态哈夫曼编码的压缩数据或使用动态哈夫曼编码的压缩数据。
尾部信息：包含校验和等用于验证数据完整性的信息。

4. 特点

高效性：Deflate结合了LZ77和哈夫曼编码的优势，能够实现较高的压缩比。
灵活性：支持静态和动态哈夫曼编码，适应不同的数据特征。
广泛应用：Deflate算法被广泛应用于ZIP、GZIP、PNG等文件格式中。

Deflate算法因其高效和灵活性，成为许多压缩工具和文件格式的首选压缩算法。

有损压缩算法

JPEG（图像）

JPEG（Joint Photographic Experts Group）是一种广泛使用的有损压缩图像格式，主要用于存储和传输数字照片。它由联合图像专家小组开发，并于1992年成为国际标准（ISO/IEC 10918-1）。以下是JPEG的核心特点：

1. 压缩原理

基于离散余弦变换（DCT）：将图像从空间域转换到频域，分离高频和低频信息。
量化：通过量化表减少高频成分（人眼不敏感的部分），丢弃部分数据以实现压缩。
熵编码：使用霍夫曼编码或算术编码进一步压缩数据。

2. 有损特性

压缩率越高，图像质量损失越明显（如块状伪影、模糊）。
不支持透明通道（Alpha通道）。

3. 常见用途

适合存储自然场景照片（颜色渐变丰富）。
不适用于线条图、文字或高对比度图像（易产生失真）。

4. 文件扩展名

.jpg 或 .jpeg（两者通用）。

5. 变种格式

JPEG 2000：采用小波变换，压缩效率更高，但普及度较低。
渐进式JPEG：支持从模糊到清晰的渐进加载。

基本JPEG

基本JPEG（Joint Photographic Experts Group）是一种广泛使用的有损压缩图像格式，主要用于存储和传输静态图像。它通过去除人眼不太敏感的高频信息来实现高压缩比。

核心特点

有损压缩：压缩过程中会丢失部分图像数据，但通常对视觉质量影响较小。
基于离散余弦变换（DCT）：将图像从空间域转换到频率域，便于压缩高频信息。
支持多种色彩模式：如灰度、YCbCr（常用于彩色图像）。
量化与熵编码：通过量化表减少数据量，再使用霍夫曼编码或算术编码进一步压缩。

压缩步骤

色彩空间转换（如RGB转YCbCr）。
分块处理：将图像分成8×8像素块。
DCT变换：将像素块转换为频率系数。
量化：用量化表舍入高频系数（主要数据丢失环节）。
熵编码：对量化后的系数进行无损压缩。

应用场景

网页图片（.jpg/.jpeg格式）。
数码相机存储。
需要平衡质量与文件大小的场景。

局限性

不适合文本或线条图形（边缘模糊）。
多次编辑会累积质量损失。

渐进式JPEG

渐进式JPEG（Progressive JPEG）是JPEG图像格式的一种编码方式，与标准JPEG（Baseline JPEG）相比，它允许图像在加载过程中逐步显示更清晰的版本，而不是从上到下逐行加载。

工作原理

分层编码：渐进式JPEG将图像分成多个扫描（scans），每一层扫描包含图像的部分信息。
逐步解码：在加载时，浏览器或图像查看器会先显示一个模糊的预览版本，随着更多数据加载完成，图像逐渐变得更清晰。
频谱选择：通过分多次传输图像的频率分量（低频到高频），先显示低频信息（模糊图像），再补充高频信息（细节）。

优点

用户体验更好：用户无需等待完整加载即可看到图像的大致内容。
网络友好：适合慢速网络环境，即使加载中断，用户也能看到部分图像。
文件大小相近：渐进式JPEG与标准JPEG的文件大小通常相差不大。

缺点

解码复杂度高：需要更多的计算资源逐步解码和渲染图像。
兼容性问题：极少数老旧设备或软件可能不支持渐进式JPEG。

适用场景

网页图片加载（尤其是大图或慢速网络环境）。
需要快速预览的高分辨率图像。

生成方式

大多数图像处理工具（如Photoshop、GIMP）在保存JPEG时可以选择“渐进”选项。命令行工具如cjpeg（来自libjpeg）也可通过参数（-progressive）生成渐进式JPEG。

MPEG（视频）

MPEG（Moving Picture Experts Group）是一组由国际标准化组织（ISO）和国际电工委员会（IEC）制定的视频和音频压缩标准。MPEG标准广泛应用于数字视频、音频的存储和传输，尤其在流媒体、广播电视和数字存储介质（如DVD）中。

核心特点

压缩技术：MPEG使用有损压缩算法，通过去除人眼不敏感的冗余信息（如空间冗余和时间冗余）来大幅减小文件大小。
帧类型：
- I帧（Intra-coded frame）：关键帧，独立编码，不依赖其他帧。
- P帧（Predicted frame）：通过前一个I帧或P帧预测编码，依赖前一帧。
- B帧（Bi-directional frame）：双向预测帧，依赖前后帧，压缩率更高。
运动补偿：通过记录帧间运动变化（如物体移动）来减少数据量。

常见MPEG标准

MPEG-1：早期标准，用于VCD（视频CD），支持352×240分辨率（NTSC）或352×288（PAL）。
MPEG-2：用于DVD、数字电视（如DVB）和广播，支持更高分辨率和比特率。
MPEG-4：支持更高效的压缩（如H.264/AVC），适用于网络流媒体（如YouTube）、移动设备和蓝光光盘。

应用场景

MPEG-1/2：传统媒体存储（VCD/DVD）、广播电视。
MPEG-4：网络视频（如MP4格式）、视频通话、高清流媒体（H.264/AVC）。

MPEG-1

定义
MPEG-1（Moving Picture Experts Group-1）是一种视频和音频压缩标准，由国际标准化组织（ISO）和国际电工委员会（IEC）联合制定，于1993年正式发布。它是MPEG工作组开发的第一个标准，主要用于数字存储媒体（如CD-ROM）上的视频和音频编码。

核心特点

压缩方式：
- 采用基于离散余弦变换（DCT）的帧内压缩和运动补偿的帧间压缩技术。
- 支持有损压缩，通过减少冗余数据和感知冗余（如人眼不敏感的细节）实现高压缩比。
分辨率与帧率：
- 典型分辨率为352×240（NTSC）或352×288（PAL），帧率为29.97 fps（NTSC）或25 fps（PAL）。
- 最高码率约为1.5 Mbps（包括视频和音频）。
音频部分（MPEG-1 Audio Layer）：
- 包含三层（Layer I/II/III），其中Layer III即广为人知的MP3格式。
- 支持单声道、双声道和立体声编码。

应用场景

早期视频CD（VCD）的主要编码标准。
用于非专业级视频存储和流媒体传输（如早期网络视频）。

局限性

压缩效率较低，相比后续标准（如MPEG-2/4）在高质量视频中表现不足。
仅支持逐行扫描，不支持隔行扫描或高清分辨率。

文件格式

常见容器格式为.mpg或.mpeg，音频部分单独存储为.mp3。

MPEG-2

定义
MPEG-2（Moving Picture Experts Group-2）是一种广泛使用的视频和音频压缩标准，由国际标准化组织（ISO）和国际电工委员会（IEC）联合制定。它是MPEG-1的后续版本，主要用于数字电视广播、DVD视频和高质量视频传输。

主要特点

压缩效率：MPEG-2采用了更高效的压缩算法，支持更高的分辨率和比特率，适用于标清（SD）和高清（HD）视频。
多路复用：支持将视频、音频和其他数据（如字幕）复用到一个单一的数据流中，便于传输和存储。
兼容性：向下兼容MPEG-1，但增加了对隔行扫描（Interlaced Video）的支持，更适合广播电视应用。
应用广泛：主要用于数字电视（DVB）、DVD、视频点播（VOD）和部分流媒体服务。

技术细节

视频编码：基于离散余弦变换（DCT）和运动补偿（Motion Compensation），支持帧内编码（I帧）和帧间编码（P帧和B帧）。
音频编码：支持多种音频格式，包括MPEG-2 Audio（Layer II和Layer III）和AC-3（Dolby Digital）。
传输流（TS）：用于广播和存储的容器格式，支持错误恢复和多路节目复用。

优缺点

优点：
- 高画质和广泛的行业支持。
- 适合广播和存储介质（如DVD）。
缺点：
- 压缩效率不如后续标准（如H.264/AVC）。
- 对带宽要求较高，不适合低带宽环境。

常见文件扩展名

.mpg 或 .mpeg（视频文件）
.ts 或 .m2ts（传输流文件，常用于广播电视和蓝光光盘）

MPEG-2在数字视频领域具有重要地位，尽管逐渐被更新的标准取代，但在某些传统应用中仍广泛使用。

MPEG-4

MPEG-4（Moving Picture Experts Group-4）是一种多媒体压缩标准，由国际标准化组织（ISO）和国际电工委员会（IEC）联合制定。它主要用于视频和音频数据的压缩、编码和传输，广泛应用于互联网流媒体、数字电视、视频会议等领域。

主要特点

高效压缩：MPEG-4采用了先进的压缩算法，能够在较低码率下提供较高的视频和音频质量。
对象编码：与传统的基于帧的编码不同，MPEG-4支持基于对象的编码，可以将视频场景中的不同对象（如背景、人物等）分别编码和处理。
多用途性：支持多种媒体类型，包括视频、音频、2D/3D图形、文本等，适用于多种应用场景。
可扩展性：支持从低带宽（如移动网络）到高带宽（如高清视频）的多种传输环境。

应用场景

流媒体：如YouTube、Netflix等在线视频平台。
视频会议：如Zoom、Skype等视频通话工具。
数字电视：用于广播和点播服务。
移动设备：如智能手机、平板电脑上的视频播放。

组成部分

MPEG-4标准包含多个部分，其中最重要的是：

MPEG-4 Part 2：早期的视频编码标准，如DivX和Xvid。
MPEG-4 Part 10（H.264/AVC）：更高效的视频编码标准，广泛应用于高清视频。
MPEG-4 Part 14（MP4）：定义了一种容器格式，用于存储MPEG-4编码的多媒体内容。

MPEG-4因其高效性和灵活性，成为现代多媒体应用中的重要标准之一。

MP3（音频）

MP3（全称：MPEG-1 Audio Layer III）是一种有损压缩的数字音频编码格式，属于MPEG-1标准的一部分。它通过去除人耳难以感知的音频信号（基于心理声学模型）来大幅减小文件体积，同时保持较高的音质。

核心特点

压缩原理
- 利用频域掩蔽和时域掩蔽效应，丢弃冗余数据。
- 采用霍夫曼编码进一步压缩数据。
比特率（Bitrate）
- 常见范围：128 kbps（标准音质）到320 kbps（高音质）。
- 可变比特率（VBR）和恒定比特率（CBR）两种模式。
文件结构
- 由多个**帧（Frame）**组成，每帧包含帧头和音频数据。
- 帧头存储采样率、比特率等信息。

优缺点

优点
- 文件体积小（约为CD音质的1/10）。
- 兼容性广泛，支持大多数播放设备和软件。
缺点
- 有损压缩导致高频细节丢失。
- 不适用于专业音频制作（如录音室母带）。

应用场景

音乐存储与传输（如在线音乐平台）。
播客、有声书等语音类内容。

Wavelet压缩（图像、视频等）

基本概念

Wavelet压缩是一种基于小波变换（Wavelet Transform）的数据压缩技术，主要用于图像、视频等多媒体数据的压缩。它通过将信号分解为不同频率的子带，利用小波基函数的局部化特性，实现高效的数据表示。

核心原理

小波变换：
- 将原始信号（如图像）分解为高频和低频成分。
- 低频分量（近似系数）包含信号的主要信息。
- 高频分量（细节系数）包含边缘、纹理等细节信息。
多分辨率分析：
- 通过多级小波分解（如金字塔结构），实现对信号的多尺度分析。
- 每一级分解将信号分为更粗糙的近似和更精细的细节。
量化与编码：
- 对变换后的小波系数进行量化（有损压缩）或直接编码（无损压缩）。
- 高频系数通常被大幅量化（丢弃），因为人眼对高频信息不敏感。