【实验五】JPEG原理分析及JPEG解码器的调试

验证性实验，读懂

---

一、实验目的

掌握JPEG编解码系统的基本原理。初步掌握复杂的数据压缩算法实现，并能根据理论分析需要实现所对应数据的输出。

二、实验原理

1.编解码原理

总体框架：

（1）零偏置（level offset）

对于灰度级是 2n 的像素，通过减去 2n-1，将无符号的整数值变成有符号数；对于 n=8，即将 0~255 的值域，通过减去 128，转换为值域在-128~127 之间的值。

（2）8x8 DCT 变换

DCT 变换是指对每个单独的彩色图像分量，把整个分量图像分成 8×8 的图像块，再以8x8 的图像块为一个单位进行量化和编码处理。

（3）量化

通过量化减少数据的编码位数，提高编码效率；人眼对亮度信号比对色差信号更敏感，因此使用了两种量化表：亮度量化表和色差量化表；根据人眼的视觉特性（对低频敏感，对高频不太敏感）对低频分量采取较细的量化，对高频分量采取较粗的量化。

（4）DC 系数差分编码

JPEG 算法使用了差分脉冲调制编码(DPCM)技术，对相邻图像块之间量化 DC 系数的差值 DIFF 进行编码

（5）AC 系数的之字形扫描与游程编码

（6）AC 和 DC 系数分别进行 Huffman 编码

JPEG 中共采用了四张 Huffman 码表：亮度 DC、亮度 AC、色度 DC、色度 AC，分别对图像的亮度和色度、直流和交流数据进行编码处理。

2.JPEG文件格式分析

（1）SOI start of image 图像开始

标记代码 2字节 固定值0xFFD8

（2）APP0 appllication 应用程序保留标记0

标记代码 2字节 固定值0xFFE0
包含9个具体字段
①数据长度 2字节 ①~⑨9个字段的总长度
②标识符 5字节 固定值0x4A46494600，即字符串“JFIF0”
③版本号 2字节 一般是0x0102，表示JFIF的版本号1.2
④X和Y的密度单位 1字节 只有三个值可选
0：无单位；1：点数/英寸；2：点数/厘米
⑤X方向像素密度 2字节 取值范围未知
⑥Y方向像素密度 2字节 取值范围未知
⑦缩略图水平像素数目 1字节 取值范围未知
⑧缩略图垂直像素数目 1字节 取值范围未知
⑨缩略图RGB位图 长度可能是3的倍数 缩略图RGB位图数据

（3）DQT define quantization table 定义量化表

标记代码 2字节 固定值0xFFDB
包含9个具体字段：
①数据长度 2字节 字段①和多个字段②的总长度
②量化表 数据长度-2字节
a) 精度及量化表ID 1字节
高4位：精度，只有两个可选值 0：8位；1：16位
低4位：量化表ID，取值范围为0～3
b) 表项 (64×(精度+1))字节
例如8位精度的量化表,其表项长度为64×（0+1）=64字节
本标记段中，字段②可以重复出现，表示多个量化表，但最多只能出现4次

（4）SOF0 start of frame 帧图像开始

标记代码 2字节 固定值0xFFC0
包含9个具体字段：
①数据长度 2字节 ①~⑥六个字段的总长度
②精度 1字节 每个数据样本的位数
通常是8位，一般软件都不支持 12位和16位
③图像高度 2字节 图像高度（单位：像素）
④图像宽度 2字节 图像宽度（单位：像素）
⑤颜色分量数 1字节 只有3个数值可选
1：灰度图；3：YCrCb或YIQ；4：CMYK
而JFIF中使用YCrCb，故这里颜色分量数恒为3
⑥颜色分量信息 颜色分量数×3字节（通常为9字节） a)颜色分量ID 1字节
b)水平/垂直采样因子 1字节
高4位：水平采样因子
低4位：垂直采样因子
c)量化表 1字节 当前分量使用的量化表的ID

（5）DHT define huffman table 定义哈夫曼表

标记代码 2字节 固定值0xFFC4
包含2个具体字段：
①数据长度 2字节
②huffman表 数据长度-2字节
表ID和表类型 1字节
高4位：类型，只有两个值可选
0：DC直流；1：AC交流
低4位：哈夫曼表ID，
注意，DC表和AC表分开编码
不同位数的码字数量 16字节
编码内容 16个不同位数的码字数量之和（字节）
本标记段中，字段②可以重复出现（一般4次），也可以只出现1次。

（6）SOS start of scan 扫描开始12字节

标记代码 2字节 固定值0xFFDA
包含2个具体字段：
①数据长度 2字节 ①~④两个字段的总长度
②颜色分量数 1字节 应该和SOF中的字段⑤的值相同，即：
1：灰度图是；3： YCrCb或YIQ；4：CMYK。
③颜色分量信息
a)颜色分量ID 1字节
b)直流/交流系数表号 1字节
高4位：直流分量使用的哈夫曼树编号
低4位：交流分量使用的哈夫曼树编号
④压缩图像数据
a)谱选择开始 1字节 固定值0x00
b)谱选择结束 1字节 固定值0x3F
c)谱选择 1字节 在基本JPEG中总为00

（7）EOI end of image 图像结束

标记代码 2字节 固定值0xFFD9

三、实验结果

1.逐步调试JPEG解码器程序。将输入的JPG文件进行解码，将输出文件保存为可供YUVViewer观看的YUV文件。

2.理解程序核心部分

（1）理解程序设计的整体框架（主要代码解释）

解析DQT：

static int parse_DQT(struct jdec_private *priv, const unsigned char *stream)
{
  int qi;
  float *table;
  const unsigned char *dqt_block_end;
#if TRACE
  fprintf(p_trace,"> DQT marker\n");
  fflush(p_trace);
#endif
  dqt_block_end = stream + be16_to_cpu(stream);
  stream += 2;	/* Skip length */

  while (stream < dqt_block_end)  //检查是否有量化表
   {
     qi = *stream++;
#if SANITY_CHECK
     if (qi>>4)
       snprintf(error_string, sizeof(error_string),"16 bits quantization table is not supported\n");
     if (qi>4)
       snprintf(error_string, sizeof(error_string),"No more 4 quantization table is supported (got %d)\n", qi);
#endif
     table = priv->Q_tables[qi];
     build_quantization_table(table, stream);
     stream += 64;
   }
#if TRACE
  PrintQtable(table,qi);
  fprintf(p_trace,"< DQT marker\n");
  fflush(p_trace);
#endif
  return 0;
}

建立量化表：

static void build_quantization_table(float *qtable, const unsigned char *ref_table)
{
  /* Taken from libjpeg. Copyright Independent JPEG Group's LLM idct.
   * For float AA&N IDCT method, divisors are equal to quantization
   * coefficients scaled by scalefactor[row]*scalefactor[col], where
   *   scalefactor[0] = 1
   *   scalefactor[k] = cos(k*PI/16) * sqrt(2)    for k=1..7
   * We apply a further scale factor of 8.
   * What's actually stored is 1/divisor so that the inner loop can
   * use a multiplication rather than a division.
   */
  int i, j;
  static const double aanscalefactor[8] = {
     1.0, 1.387039845, 1.306562965, 1.175875602,
     1.0, 0.785694958, 0.541196100, 0.275899379
  };
  const unsigned char *zz = zigzag;

  for (i=0; i<8; i++) {
     for (j=0; j<8; j++) {

       *qtable++ = ref_table[*zz++] * aanscalefactor[i] * aanscalefactor[j];

     }
   }

}

解析DHT:

static int parse_DHT(struct jdec_private *priv, const unsigned char *stream)
{
  unsigned int count, i;
  unsigned char huff_bits[17];
  int length, index;

  length = be16_to_cpu(stream) - 2;
  stream += 2;	/* Skip length */
#if TRACE
  fprintf(p_trace,"> DHT marker (length=%d)\n", length);
  fflush(p_trace);
#endif

  while (length>0) {
     index = *stream++;

     /* We need to calculate the number of bytes 'vals' will takes */
     huff_bits[0] = 0;
     count = 0;
     for (i=1; i<17; i++) {
	huff_bits[i] = *stream++;
	count += huff_bits[i];
     }
#if SANITY_CHECK
     if (count >= HUFFMAN_BITS_SIZE)
       snprintf(error_string, sizeof(error_string),"No more than %d bytes is allowed to describe a huffman table", HUFFMAN_BITS_SIZE);
     if ( (index &0xf) >= HUFFMAN_TABLES)
       snprintf(error_string, sizeof(error_string),"No more than %d Huffman tables is supported (got %d)\n", HUFFMAN_TABLES, index&0xf);
#if TRACE
     fprintf(p_trace,"Huffman table %s[%d] length=%d\n", (index&0xf0)?"AC":"DC", index&0xf, count);
	 fprintf(huffman_table,"Huffman table %s[%d] length=%d\n", (index&0xf0)?"AC":"DC", index&0xf, count);
	 fflush(p_trace);
#endif
#endif

     if (index & 0xf0 )
       build_huffman_table(huff_bits, stream, &priv->HTAC[index&0xf]);
     else
       build_huffman_table(huff_bits, stream, &priv->HTDC[index&0xf]);

     length -= 1;
     length -= 16;
     length -= count;
     stream += count;
  }
#if TRACE
  fprintf(p_trace,"< DHT marker\n");
  fflush(p_trace);
#endif
  return 0;
}

建立Huffman码表：

static void build_huffman_table(const unsigned char *bits, const unsigned char *vals, struct huffman_table *table)
{
  unsigned int i, j, code, code_size, val, nbits;
  unsigned char huffsize[HUFFMAN_BITS_SIZE+1], *hz;
  unsigned int huffcode[HUFFMAN_BITS_SIZE+1], *hc;
  int next_free_entry;

  /*
   * Build a temp array 
   *   huffsize[X] => numbers of bits to write vals[X]
   */
  hz = huffsize;
  for (i=1; i<=16; i++)
   {
     for (j=1; j<=bits[i]; j++)
       *hz++ = i;
   }
  *hz = 0;

  memset(table->lookup, 0xff, sizeof(table->lookup));
  for (i=0; i<(16-HUFFMAN_HASH_NBITS); i++)
    table->slowtable[i][0] = 0;

  /* Build a temp array
   *   huffcode[X] => code used to write vals[X]
   */
  code = 0;
  hc = huffcode;
  hz = huffsize;
  nbits = *hz;
  while (*hz)
   {
     while (*hz == nbits)
      {
	*hc++ = code++;
	hz++;
      }
     code <<= 1;
     nbits++;
   }

  /*
   * Build the lookup table, and the slowtable if needed.
   */
  next_free_entry = -1;
  for (i=0; huffsize[i]; i++)
   {
     val = vals[i];
     code = huffcode[i];
     code_size = huffsize[i];
	#if TRACE
     fprintf(p_trace,"val=%2.2x code=%8.8x codesize=%2.2d\n", val, code, code_size);
	 fprintf(huffman_table,"val=%2.2x code=%8.8x codesize=%2.2d\n", val, code, code_size);
	 fflush(p_trace);
    #endif
     table->code_size[val] = code_size;
     if (code_size <= HUFFMAN_HASH_NBITS)
      {
	/*
	 * Good: val can be put in the lookup table, so fill all value of this
	 * column with value val 
	 */
	int repeat = 1UL<<(HUFFMAN_HASH_NBITS - code_size);
	code <<= HUFFMAN_HASH_NBITS - code_size;
	while ( repeat-- )
	  table->lookup[code++] = val;

      }
     else
      {
	/* Perhaps sorting the array will be an optimization */
	uint16_t *slowtable = table->slowtable[code_size-HUFFMAN_HASH_NBITS-1];
	while(slowtable[0])
	  slowtable+=2;
	slowtable[0] = code;
	slowtable[1] = val;
	slowtable[2] = 0;
	/* TODO: NEED TO CHECK FOR AN OVERFLOW OF THE TABLE */
      }

   }
}

（2）理解三个结构体的设计目的

struct huffman_table：结合lookup表存储Huffman码表
struct component：用于参与霍夫曼解码，反量化，IDCT 以及彩色空间变换，Hfactor和 Vfactor 用于说明水平与垂直的采样情况
struct jdec_private：用于指示解码过程中的所有信息，量化表，霍夫曼码表以及图像数据

（3）理解在视音频编解码调试中TRACE的目的和含义

会打开和关闭TRACE
会根据自己的要求修改TRACE

3.以txt文件输出所有的量化矩阵和HUFFMAN码表

4.输出AC图像并统计其概率分布

5.输出DC值图像并统计其概率分布

DC 系数反映图像直流部分，图像模糊，因为滤除了高频部分，损失了大部分细节

DC 图像的方差会更大，信息熵更大，包含着图像大部分的信息