JPEG 原理分析及解码器调试
一、实验原理
1. JPEG 编码过程
图示部分为 JPEG 编码过程,分为以下几部分,并结合电视原理相关知识给出处理目的
- 零偏置:像素值 - 128,把像素值范围从 [0,255] 调整到 [-128,127]
- 8×8 DCT 变换:通过 DCT 变换进行能量集中和去相关处理,以减小空间冗余
- 量化:根据人眼视觉特性,结合量化表进行量化处理,以减小视觉冗余(引入误差)
- 编码:
- 对于直流系数 DC,进行差分编码和 VLC 编码
- 对于交流系数 AC,进行之字形扫描、游程编码和 VLC 编码
2. JPEG 文件格式
2.1 Segment 的组织形式
JPEG 在文件中以 Segment 的形式组织,它具有以下特点:
- 均以
0xFF
开始,后跟 1 byte 的 Marker 和 2 byte 的 Segment Length(包含表示 Length 本身所占用的 2 byte,不含“0xFF” + “Marker” 所占用的 2 byte); - 采用 Motorola 序(相对于 Intel 序),即保存时高位在前,低位在后;
- Data部分中,
0xFF
后若为0x00
,则跳过此字节不予处理;
2.2 JPEG 的 Segment Maker
3. JPEG 解码过程
3.1 读取文件
3.2 解析 Segment Maker
3.2.1 解析 SOI
3.2.2 解析 APP0
- 检查标识“JFIF”及版本
- 得到一些参数
3.2.3 解析 DQT
- 得到量化表长度(可能包含多张量化表)
- 得到量化表的精度
- 得到及检查量化表的序号(只能是 0 ~ 3 )
- 得到量化表内容(64 个数据)
3.2.4 解析 SOF0
- 得到每个 sample 的比特数、长宽、颜色分量数
- 得到每个颜色分量的 ID、水平采样因子、垂直采样因子、使用的量化表序号(与 DQT 中序号对应)
3.2.5 解析 DHT
- 得到 Huffman 表的类型(AC、DC)、序号
- 依据数据重建 Huffman 表 3.2.6 解析SOS
- 得到解析每个颜色分量的DC、AC值所使用的 Huffman 表序号(与DHT 中序号对应)
3.3 依据每个分量的水平、垂直采样因子计算 MCU 的大小,并得到每个 MCU 中 8×8 宏块的个数
3.4 对每个 MCU 解码 (依照各分量水平、垂直采样因子对 MCU 中每个分量宏块解码)
3.4.1 对每个宏块进行 Huffman 解码,得到 DCT 系数
3.4.2 对每个宏块的DCT系数进行 IDCT,得到 Y、Cb、Cr
3.4.3 遇到 SegmentMarkerRST 时,清空之前的直流 DCT 系数
3.5 解析到 EOI,解码结束
3.6 将 Y、Cb、Cr 转化为需要的色彩空间并保存。
二、实验过程(解码器调试)
本次实验使用的图像原图如下
1. 输出 YUV 文件
原始的 write_yuv function 如下
static void write_yuv(const char *filename, int width, int height, unsigned char **components)
{
FILE *F;
char temp[1024];
snprintf(temp, 1024, "%s.Y", filename);
F = fopen(temp, "wb");
fwrite(components[0], width, height, F);
fclose(F);
snprintf(temp, 1024, "%s.U", filename);
F = fopen(temp, "wb");
fwrite(components[1], width*height/4, 1, F);
fclose(F);
snprintf(temp, 1024, "%s.V", filename);
F = fopen(temp, "wb");
fwrite