数据压缩实验五：JPEG文件解码实验分析

一：实验原理

1.JPEG编码原理

JPEG 是Joint Photographic Experts Group(联合图像专家小组)的缩写，是第一个国际图像压缩标准。

.jpeg/.jpg是最常用的图像文件格式，是一种有损压缩格式。JPEG 编码框图如下图所示：

（1）零偏置（level offset）

对于灰度级是2n的像素，通过减去2n-1，将无符号的整数值变成有符号数；

对于n=8，即将0~255的值域，通过减去128，转换为值域在-128~127之间的值。这样做的目的是： 使像素的绝对值出现3位10进制的概率大大减少。

（2）8x8 DCT变换

DCT变换是指 对每个单独的彩色图像分量，把整个分量图像分成8×8的图像块，再以8x8的图像块为一个单位进行量化和编码处理。我们可以利用DCT变换去相关的特性，去除冗余信息，提高编码效率。

（3）量化

我们可以通过量化减少数据的编码位数，提高编码效率；

因为人眼对亮度信号比对色差信号更敏感，因此使用了两种量化表：亮度量化值和色差量化值；   

根据人眼的视觉特性 （对低频敏感，对高频不太敏感）对低频分量采取较细的量化，对高频分量采取较粗的量化。

（4）DC系数差分编码

8×8图像块经过DCT变换之后得到的DC直流系数有两个特点：系数的数值比较大和相邻8×8图像块的DC系数值变化不大：冗余；

根据这个特点， JPEG算法使用了差分脉冲调制编码(DPCM)技术，对相邻图像块之间量化DC系数的差值DIFF进行编码：

再对DIFF进行Huffman编码。

（5）AC系数的之字形扫描

由于经DCT变换后，系数大多数集中在左上角，即低频分量区，因此采用Z字形按频率的高低顺序读出，可以出现很多连零的机会。可以使用游程编码。尤其在最后，如果都是零，给出EOB (End of Block)即可。zigzag扫描如下图：

（6）AC系数游程编码

在经过之字形扫描排序后的AC系数，存在很多连0。为了进一步提高编码效率，因此对AC系数进行游程编码（RLC）处理之后，再进一步进行Huffman编码。

（7）将进行处理之后的AC和DC系数，送到Huffman编码器分别进行Huffman编码

JPEG中共采用了四张Huffman码表：亮度DC、亮度AC、色度DC、色度AC，即分别对图像的亮度和色度，直流和交流数据进行编码处理。

2.JPEG文件格式分析

（1）segment的组织形式

EG 在文件中以 Segment 的形式组织，它具有以下特点：

均以 0xFF 开始，后跟 1 byte 的 Marker 和 2 byte 的 Segment length（包含表示Length 本身所占用的 2 byte，不含“ 0xFF” + “ Marker” 所占用的 2 byte）；

采用 Motorola 序（相对于 Intel 序），即保存时高位在前，低位在后；

Data 部分中， 0xFF 后若为 0x00，则跳过此字节不予处理；

（2）文件格式分析

下面，我们通过对一个具体的JPEG文件格式的分析，来了解相关marker：

FFD8：SOI， Start of Image，图像开始 

所有的JPEG文件都必须以SOI开始。

FFE0：Application，应用程序保留标记 0

length: 16 byte (2 byte)----00 10
标识符: JFIF (5 byte)----4A 46 49 46 00
Version: 0101 (2 byte)----01 01
Units: 01 (1 byte) X and Y are dots per inch----01
Xdensity: 96 (2 bytes) Horizontal pixel density(水平方向点密度)----00 60
Ydensity:96 (2 bytes) Vertical pixel density(垂直方向点密度)---- 00 60
缩略图水平像素数目: 00 (1 byte)----00
缩略图垂直像素数目: 00 (1 byte)----00
缩略图 24bitRGB 点数目: 缩略图水平像素数目 * 缩略图垂直像素数目 = 00

FFDB：DQT， Define Quantization Table，定义量化表
length: 67 byte (2 byte)----00 43
QT information - precision: 00 (Higher 4 bit) (8 bit)
QT information - index: 00 (Lower 4 bit)----00

qt_table:从08一直到下一个FFDB之前，为量化表的64个量化值

下一个 FFDB定义了第二个量化表，这里不再赘述。

FFC0 : SOF0 ， Start of Frame， 基线离散余弦变换
length: 17 byte (2 byte)----0 0 11

图像精度（每个数据样本的位数） : 8----08
Image Height: 900 (2 byte)----03 84
Image Width: 1440 (2 byte)----05 A0
颜色分量数: 03（ YCrCb） (1 byte)----03
颜色分量 ID: 01 (1 byte) (Y)----01
SampRate_Y_H: 10 (Higher 4 bit)
SampRate_Y_V: 10 (Lower 4 bit)----22
Y QtTableID: 00 (1 byte)----00
颜色分量 ID: 02 (1 byte) (U)----02
SampRate_U_H: 01 (Higher 4 bit)
SampRate_U_V: 01 (Lower 4 bit)----11
U QtTableID: 01 (1 byte)----01
颜色分量 ID: 03 (1 byte) (V)----03
SampRate_V_H: 01 (Higher 4 bit)
SampRate_V_V: 01 (Lower 4 bit)----11
V QtTableID: 01 (1 byte)----01

FFC4: DHT， Define Huffman Table，定义 Huffman 树表
length: 31byte (2 byte)----00 1F
Huffman 表类型: 0 (Higher 4 bit) (DC)
Huffman 表 ID: 0 (Lower 4 bit) (0 号表)----00
HuffmanTableIndex: 0

code_len_table：16bytes

剩下的是各码字对应的权值。

后面的三个FFC4分别为AC0号表，DC1号表，AC1号表，这里不再赘述。

FFDA: SOS， Start of Scan，扫描开始
length: 12 byte (2 byte)----00 0C

颜色分量数：3（1byte）----03
颜色分量 ID: 1 (1 byte) (Y)----01
Y Dc HuffmanTreeIndex: 0 (Higher 4 bit)
Y Ac HuffmanTreeIndex: 0(Lower 4 bit)----00
颜色分量 ID: 2 (1 byte) (U or V)----02
UV Dc HuffmanTreeIndex: 1 (Higher 4 bit)
UV Ac HuffmanTreeIndex: 1 (Lower 4 bit)----11
颜色分量 ID: 3 (1 byte) (U or V)----03
UV Dc HuffmanTreeIndex: 1 (Higher 4 bit)
UV Ac HuffmanTreeIndex: 1(Lower 4 bit)----11

谱选择开始 1 byte---- 固定值 0x00
谱选择结束 1 byte---- 固定值 0x3F
谱选择 1 byte---- 在基本 JPEG 中总为 00

二：JPEG解码流程

JPEG解码流程为编码的逆过程，具体流程如下所示：

1 .读取文件

2. 解析 Segment Marker

2.1 解析 SOI

2.2 解析 APP0

 检查标识“ JFIF”及版本
 得到一些参数

2.3 解析 DQT
 得到量化表长度（可能包含多张量化表）
 得到量化表的精度
 得到及检查量化表的序号（只能是 0 —— 3）
 得到量化表内容（ 64 个数据）
2.4 解析 SOF0
 得到每个 sample 的比特数、长宽、颜色分量数
 得到每个颜色分量的 ID、水平采样因子、垂直采样因子、使用的量化表序号（与 DQT 中序号对应）
2.5 解析 DHT
 得到 Huffman 表的类型（ AC、 DC）、序号
 依据数据重建 Huffman 表
2.6 解析 SOS
 得到解析每个颜色分量的 DC、 AC 值所使用的 Huffman 表序号（与 DHT中序号对应）

3.依据每个分量的水平、垂直采样因子计算 MCU 的大小，并得到每个 MCU 中 8*8宏块的个数

4 .对每个 MCU 解码（依照各分量水平、垂直采样因子对 MCU 中每个分量宏块解码）
4.1 对每个宏块进行 Huffman 解码，得到 DCT 系数
4.2 对每个宏块的 DCT 系数进行 IDCT，得到 Y、 Cb、 Cr
4.3 遇到 Segment Marker RST 时，清空之前的 DC DCT 系数

5 .解析到 EO