数据压缩——JPEG原理分析及JPEG解码器的调试

最新推荐文章于 2023-06-02 10:38:35 发布
最新推荐文章于 2023-06-02 10:38:35 发布
阅读量547 收藏 1
点赞数
分类专栏： 数据压缩 文章标签： 其他
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Bingyeshinvwang/article/details/125733117
版权

JPEG编解码原理

在这里插入图片描述

level off（零偏置）

· 对于灰度级是2n的像素，通过减去2n-1，将无符号的整数值变成有符号数；
· 对于n=8，即将0~ 255的值域，通过减去128，转换为值域在-128~ 127之间的值。
· 目的：使像素的绝对值出现3位10进制的概率大大减少。

8×8 DCT

· 把整个分量图像分成8×8的图像块，再以8×8的图像块为一个单位进行量化和编码处理。
· 目的：去相关，能量集中
图像使用二维DCT变换，其核矩阵为：
在这里插入图片描述

输入图像通过与2D变换核矩阵做矩阵相乘得到DCT系数，系数矩阵反应了输入图像的变化性质

量化

· 采用中平均匀量化器；
· 按照【系数所在位置和颜色分量】来确定量化步距；
· 由人眼对亮度信号比对色度信号更敏感，选择两种量化表：亮度量化表，色度量化表；
· 根据人眼视觉特性：对低频变化敏感于高频变化，采用低频细量化，高频粗量化；
· 真正的量化表=缩放因子×基本量化表
质量因子越大，缩放因子越小，量化表量化步长小，压缩程度小

DC系数的差分编码

· 8×8图像块经过DCT变换后得到的DC系数有两个特点：
系数数值比较大；
相邻 8×8 图像块的DC系数值变化不大——冗余
· 根据这个特点，JPEG算法使用了DPCM技术，对相邻图像块之间量化DC系数的差值DIFF进行Huffman编码：

在这里插入图片描述
在这里插入图片描述

AC系数的zizag（之字扫描）

由于经过DCT变换后，系数大多数集中在左上角，即低频分量区，因此采用z字形按频率由低到高的顺序读出，可以出现很多连零的机会。最后，如果都是0，则给出EOB即可。
在这里插入图片描述

调试 JPEGParser程序

结果如图，得到的是对于码流结构的分析文档：
在这里插入图片描述
在这里插入图片描述

解码JPEG

三个结构体设计目的

  1. struct huffman_table
    快查找和慢查找两种方式，提高编码效率
struct huffman_table
{
  /* Fast look up table, using HUFFMAN_HASH_NBITS bits we can have directly the symbol,
  * 快查找表，根据HUFFMAN_HASH_NBITS可以快速找到符号
   * if the symbol is <0, then we need to look into the tree table 
   符号<0,使用慢查找表*/
  short int lookup[HUFFMAN_HASH_SIZE];//得到权值对应的码字
  /* code size: give the number of bits of a symbol is encoded */
  unsigned char code_size[HUFFMAN_HASH_SIZE];//得到权值对应的码长
  /* some place to store value that is not encoded in the lookup table 
   * FIXME: Calculate if 256 value is enough to store all values
   计算256个值是否足够存储需要存储的所有值*/
  uint16_t slowtable[16-HUFFMAN_HASH_NBITS][256];
};
  1. struct component
    保存一个MCU的信息，处理完一个MCU，值更新一次。
struct component 
{
  unsigned int Hfactor;//水平采样
  unsigned int Vfactor;//垂直采样
  float *Q_table;		/* Pointer to the quantisation table to use指向使用的量化表 */ 
  struct huffman_table *AC_table; //Huffman AC系数表
  struct huffman_table *DC_table;//Huffman DC系数表
  short int previous_DC;	/* Previous DC coefficient 上一个DC系数 */
  short int DCT[64];		/* DCT coef *///该块的DCT系数，DCT[0]为该块直流，其他为交流
#if SANITY_CHECK
  unsigned int cid;
#endif
};
  1. struct jdec_private
    文件解码信息结构体
struct jdec_private
{
  /* Public variables */
  uint8_t *components[COMPONENTS];//分别指向YUV分量结构体的指针数组
  unsigned int width, height;	/* Size of the image 图像宽高*/
  unsigned int flags;

  /* Private variables */
  const unsigned char *stream_begin, *stream_end; //码流开始，结束指针
  unsigned int stream_length; //码流长度

  const unsigned char *stream;	/* Pointer to the current stream 指向当前码流位置*/
  unsigned int reservoir, nbits_in_reservoir;

  struct component component_infos[COMPONENTS];
  float Q_tables[COMPONENTS][64];		/* quantization tables */
  struct huffman_table HTDC[HUFFMAN_TABLES];	/* DC huffman tables   */
  struct huffman_table HTAC[HUFFMAN_TABLES];	/* AC huffman tables   */
  int default_huffman_table_initialized; //预初始化值
  int restart_interval;
  int restarts_to_go;				/* MCUs left in this restart interval */
  int last_rst_marker_seen;			/* Rst marker is incremented each time 重新开始的位置每次递增 */

  /* Temp space used after the IDCT to store each components */
  uint8_t Y[64*4], Cr[64], Cb[64];//反DCT后三个分量的数组

  jmp_buf jump_state;
  /* Internal Pointer use for colorspace conversion, do not modify it !!! */
  uint8_t *plane[COMPONENTS];

};

调试程序输出YUV格式

设置命令参数及工作目录
在这里插入图片描述
结果如下：
在这里插入图片描述

TRACE的作用

开关作用：由以下if TRACE可知，TRACE为1时TRACEFILE中才会写入内容，其为0时不运行
在这里插入图片描述
在这里插入图片描述

打开trace_jpeg.txt
其包含了图像的宽高信息，文件大小，及Huffman码表等信息
在这里插入图片描述

输出量化矩阵

  1. 类比tracejpeg.txt的代码，在 tinyjpeg.h 中增加文件指针Q_tablefp
    在这里插入图片描述
  2. 在结尾加QFILE定义，输出的文件命名为“Q_tablefp.txt”
    在这里插入图片描述
  3. 在loadjpeg.c的主函数仿照p_trace，将量化表信息写入txt文件
#if TRACE
  p_trace=fopen(TRACEFILE,"w");
  //添加一个Q_tablefp量化表的写入
  Q_tablefp= fopen(QFILE, "w");
  if (p_trace==NULL)
  {
	  printf("trace file open error!");
  }
  if (Q_tablefp == NULL)
  {
      printf("Quantization file open error!");
  }
#endif
  1. 在tinyjpeg.c中添加代码：
static void build_quantization_table(float *qtable, const unsigned char *ref_table)
{
  int i, j;
  static const double aanscalefactor[8] = {
     1.0, 1.387039845, 1.306562965, 1.175875602,
     1.0, 0.785694958, 0.541196100, 0.275899379
  };
  const unsigned char *zz = zigzag;

  for (i=0; i<8; i++) {
     for (j=0; j<8; j++) {
       *qtable++ = ref_table[*zz++] * aanscalefactor[i] * aanscalefactor[j];
     }
   }
//添加部分：
#if TRACE
      for (i = 0; i < 8; i++)
      {
          for (j = 0; j < 8; j++)
          {
              if (j == 7)
              {
                  fprintf(Q_tablefp, "%d\n", (int)ref_table[zigzag[i * 8 + j]]);
                  //到第八个数时换行，其余空格即可
              }
              else
              {
                  fprintf(Q_tablefp, "%d  ", (int)ref_table[zigzag[i * 8 + j]]);
              }
          }
      }
#endif
}
  1. 函数 parse_DQT 中添加：
#if SANITY_CHECK
     if (qi>>4)
       snprintf(error_string, sizeof(error_string),"16 bits quantization table is not supported\n");
     if (qi>4)
       snprintf(error_string, sizeof(error_string),"No more 4 quantization table is supported (got %d)\n", qi);
#endif
//添加部分：
#if TRACE
     fprintf(Q_tablefp, "Q_tablefp[%d]:\n", qi); //码表显示格式
#endif

得到的量化表如下：
在这里插入图片描述

DC,AC图像及概率分布

图像

  1. 在tinyjpeg.h中定义文件指针，添加宏定义
    在这里插入图片描述
    在这里插入图片描述
  2. 在tinyjpeg.c中添加代码：
#include "tinyjpeg.h"
#include "tinyjpeg-internal.h"
#define  snprintf _snprintf
//添加部分：
unsigned char* DC_;
unsigned char* AC_;
unsigned char* UV_;
int i;
int count = 0;
//
	DC_ = (unsigned char*)malloc(1);
  AC_ = (unsigned char*)malloc(1);
  UV_ = (unsigned char*)malloc(1);
  *UV_ = 128;
  count++;
  *DC_ = (unsigned char)((priv->component_infos->DCT[0] + 512.0) / 4 + 0.5);
  fwrite(DC_, 1, 1, DC);
  *AC_ = (unsigned char)(priv->component_infos->DCT[1] + 128);
  fwrite(AC_, 1, 1, AC);
#if TRACE
  fprintf(p_trace,"Input file size: %d\n", priv->stream_length+2);
  fprintf(p_trace,"Input bytes actually read: %d\n", priv->stream - priv->stream_begin + 2);
  fflush(p_trace);
#endif
  for (i = 0; i < count / 4 * 2; i++)
  {
      fwrite(UV_, sizeof(unsigned char), 1, DC);
      fwrite(UV_, sizeof(unsigned char), 1, AC);
  }
  return 0;
  1. 在loadjpeg.c中写入文件：
 DC = fopen(DCFILE, "wb");
 AC = fopen(ACFILE, "wb");
  1. 关闭文件
#if TRACE
  fclose(p_trace);
  fclose(AC);
  fclose(DC);
#endif

得到DC和AC系数图如下:
在这里插入图片描述

统计DC图像，AC图像的概率分布

修改实验一中求熵的代码：

#include<iostream>
#include<stdio.h>
#include<math.h>
using namespace std;
int main()
{
	FILE* test;
	test = fopen("F:\\大三下资料\\数据压缩\\实验\\实验5_JPEG解码\\jpeg_mindec\\test_images\\snow512yuv_out.yuv", "rb");
	unsigned char* yuv, * Y_buffer, * U_buffer, * V_buffer;
	yuv = (unsigned char*)malloc(32 * 32 * 3/2 * sizeof(unsigned char));
	Y_buffer = (unsigned char*)malloc(32 * 32 * sizeof(unsigned char));
	U_buffer = (unsigned char*)malloc(16 * 16 * sizeof(unsigned char));
	V_buffer = (unsigned char*)malloc(16 * 16 * sizeof(unsigned char));
	double Y_count[256] = { 0 };
	double U_count[256] = { 0 };
	double V_count[256] = { 0 };
	double Y_H[256] = { 0 };
	double U_H[256] = { 0 };
	double V_H[256] = { 0 };
	double YH = 0;
	double UH = 0;
	double VH = 0;

	fread(yuv, 1, 32*32*3/2, test);

	for (int i = 0; i < 32*32; i++)
	{
		*(Y_buffer + i) = *(yuv + i);

	}
	for (int i = 0; i < 32 * 32*3/2; i++)
	{
		*(U_buffer + i) = *(yuv + 32*32 +i);

	}
	for (int i = 0; i < 32 * 32 * 3 / 2; i++)
	{
		*(V_buffer + i) = *(yuv + 32 * 32*5/4 + i);

	}
	//将图像中的rgb值分别存放在 * Y_buffer, * U_buffer, * V_buffer中；

	for (int g = 0; g < 256; g++)
	{
		for (int j = 0; j < 32*32; j++)
		{
			if (*(Y_buffer + j) == g)
			{
				Y_count[g] ++;
			}
		}
		for (int u = 0; u < 16 * 16; u++)
		{ 
			if (*(U_buffer + u) == g)
			{
				U_count[g] ++;
			}
		}
		for (int v = 0; v < 16 * 16; v++)
		{ 
			if (*(V_buffer + v) == g)
			{
				V_count[g] ++;
			}
		}
		
	}//遍历3个指针，分别统计Y,U,V中0~255这些值出现的次数,其遍历的次数应该是：
	
	for (int cnt = 0; cnt < 256; cnt++)
	{
		cout << Y_count[cnt] << " ";
	}
	cout << endl;
	for (int cnt = 0; cnt < 256; cnt++)
	{
		cout << U_count[cnt] << " ";
	}
	cout << endl;
	for (int cnt = 0; cnt < 256; cnt++)
	{
		cout << V_count[cnt] << " ";
	}
	cout << endl;
	//输出值为cnt的像素的个数

	for (int t = 0; t < 256; t++)
	{
		Y_count[t] = Y_count[t] / (256 * 256);
		U_count[t] = U_count[t] / (256 * 256);
		V_count[t] = V_count[t] / (256 * 256);
	}//统计Y,U,V中0~255这些值的频率

	for (int n = 0; n < 256; n++)
	{
		if (*(Y_count + n) != 0)
		{
			Y_H[n] = -Y_count[n] * (log(Y_count[n]) / log(2.0));
		}
		if (*(U_count + n) != 0)
		{
			U_H[n] = -U_count[n] * (log(U_count[n]) / log(2.0));
		}
		if (*(V_count + n) != 0)
		{
			V_H[n] = -V_count[n] * (log(V_count[n]) / log(2.0));
		}
	}//计算单个值的熵

	for (int sum = 0; sum < 256; sum++)
	{
		YH += Y_H[sum];
		UH += U_H[sum];
		VH += V_H[sum];
	}//计算Y,U,V的总熵；

	cout << "Y的熵为" << YH << endl;
	cout << "U的熵为" << UH << endl;
	cout << "V的熵为" << VH << endl;

DC系数统计结果

在这里插入图片描述

YUV
在这里插入图片描述在这里插入图片描述在这里插入图片描述

AC系数统计结果

在这里插入图片描述

YUV
在这里插入图片描述在这里插入图片描述在这里插入图片描述

参考

  1. https://blog.csdn.net/weixin_48930495/article/details/117791055
  2. https://blog.csdn.net/yee_0217/article/details/72846107
  3. https://blog.csdn.net/weixin_53323848/article/details/117635923
倩倩_ICE_王王
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
jpeg压缩简单介绍及huffman table
shayashi的博客
02-05 5990
一、jpeg压缩流程的简单介绍 jpeg压缩是基于YUV颜色空间进行压缩编码的，首先将RGB转化成YUV，然后将像素值减去128，将像素值转化到范围-128~127。后要进行采样，一般来说有3中采样方式：4:4:4，4:2:2和4:1:1；4:4:4即不进行下采样，4:1:1是指一个2x2的单元，采样4个Y，1个V和1个U（具体想了解采样的可以看下其它博客）。后直接进行8x8的DCT变换，将时域像...
JPEG算法解密（详解）
qq_42250840的博客
04-02 810
JPEG算法解密  by jinchao             图片压缩有多重要，可能很多人可能并没有一个直观上的认识，举个例子，一张800X800大小的普通图片，如果未经压缩，大概在1.7MB左右，这个体积如果存放文本文件的话足够保存一部92万字的鸿篇巨著《红楼梦...
JPEG算法解密（三）
热门推荐
w394221268的博客
08-17 1万+
步骤四：数据量化         经过上一节介绍的离散余弦变换，图像数据虽然已经面目全非，但仍然是处于“可逆”的状态，也就是说我们还没有进入“有损”的那一步。这次我们来玩真的，看一下数据中的细节是如何被滤去的。先来考察一下要对付的问题是什么，经过颜色空间转换和离散余弦变换，每一个8X8的图像块都变成了三个8X8的浮点数矩阵，分别表示Y,Cr,Cb数据，比如以其中某个亮度数据矩阵举例，它的数据
JPEGDecoder:JPEG解码器库
05-28
Arduino JPEGDecoder库 新闻：2019年10月-我在这里创建了一个新的兼容Arduino的 这个新库基于TinyJpegDec，在32位处理器上速度提高了60％，并且界面也更加简单。 该Arduino库支持将存储在SD卡上以及程序存储器（FLASH）中的阵列中的Jpeg文件呈现到TFT显示器上。 此外，存储在SPIFFS（或LittleFS）Flash归档系统或“ PROGMEM”阵列中的图像可以与ESP8266和ESP32处理器一起使用。 对于ESP8266，如果同时使用SPIFFS和SD库，请使用Arduino IDE中的Core 2.3.0（或更高版本）板来避免文件定义冲突。 该库适用于Arduino Due，ESP32和ESP8266（例如NodeMCU 1.0）。 用户还报告了基于STM32的处理器板的成功。 示例图像可以在“ extras”文件夹中找到。
数字图像处理100问—38 JPEG 压缩——第二步：离散余弦变换+量化
cv_rsrc的博客
05-10 433
提示：内容整理自：https://github.com/gzr2017/ImageProcessing100Wen CV小白从0开始学数字图像处理 38 JPEG 压缩——第二步：离散余弦变换+量化 量化离散余弦变换系数并使用 离散余弦逆变换恢复。再比较变换前后图片的大小。 量化离散余弦变换系数是用于编码 JPEG 图像的技术。 量化即在对值在预定义的区间内舍入，其中floor、ceil、round等是类似的计算。 在 JPEG 图像中，根据下面所示的量化矩阵量化离散余弦变换系数。该量化矩阵取自 JPEG.
JPEG——分割，DCT，量化流程
qq_71345785的博客
06-02 626
近期在Coursera上了一门图像处理的课程 ”Image and Video Processing: From Mars to Hollywood with a Stop at the Hospital“目前在学习第二章图像压缩的相关内容，其中比较详细的讲到了JPEG标准的处理流程，于是自己就尝试实现用matlab了一下。
读取jpeg文件头中的量化表(python版）
03-30
读取jpeg文件头中的量化表（明度和色相）并将其由zigzag编码方式重建至矩阵格式。程序都是自己这两天写的，还没有优化，欢迎拍砖。
HiDDeN Noise Layer 之 JPEG压缩——基于深度学习的水印生成网络“JPEG压缩模块”详解
girl_Xiaomin的博客
03-31 885
HiDDeN的JPEG压缩实现分析与理解
JPEG编解码原理
xh2009cn的专栏
03-08 1238
一.JPEG简介 JPEG全称Joint Photographic Experts Group（联合图像专家组），它是一项数字图像压缩标准(ISO/IEC 10918)，1992年提出。 JPEG是一种有损压缩的数字图像技术，它的核心算法是离散余弦变换（DCT）。 二.JPEG压缩技术 JPEG编码原理涉及到一些图像处理的知识，强烈推荐先看一下：图像与滤波。 JPEG编码过程如下图 解码过程就是...
jpeg header parser
River的专栏
01-11 1432
根据itu-t81及其他jpeg文档, 写了个header解析。 主要从SOF0段解析出width和height。 比较常见的marker及顺序如下: TLA Name Hex Size Required Special Notes SOI start of image 0xFF 0xD8 This tag doesnothave a ...
jpeg标准亮度与色度量化表(质量因子从60到100)
05-19
使用matlab程序，根据不同的质量因子QF(从60到100)生成对应的标准jpeg亮度与色度量化表
JPEG原理分析及JPEG解码器的调试1
08-08
1：16位 低4位：量化表ID，取值范围为0～3 b) 表项 (64×(精度+1))字节 例如8位精度的量化表,其表项长度为64×（0+1）=64字节本
JPEG2000编解码芯片ADV202的原理及应用
12-13
ADV202是AD公司最新推出的一款单片JPEG2000（ISO/IEC15444-1图像压缩标准）编解码芯片，是当今市场上少有的具有实时压缩和解压缩标准（SD）视频信号和高清晰度（HDTV）视频信号功能的芯片。该芯片带有一个灵活接口，...
jpeg.rar_JPEG编解码_jpeg_jpeg解码器
07-15
JPEG编解码器，可以重构图片，生成码流
JPEG_jpeg编码解码_jpeg图像压缩编码_
10-03
实现bmp图像的压缩编码解压，包括哈弗曼编码解码 dct变换 量化
jpeg.rar_jpeg_jpeg 压缩原理_matlab JPEG
09-23
本上传是在matlab环境下实现图像的基于DCT的JPEG压缩，上传内容包括主程序、子函数和实验原理pdf。可供朋友学习与参考。
数据压缩实验五：JPEG原理分析及JPEG解码器的调试
m0_46338411的博客
05-31 826
一、JPEG原理分析 编码部分 1.零偏置（Level Offset） 对于灰度级是 2n\ 2^n 2n的像素，通过减去  2n−1\ 2^{n-1} 2n−1，将无符号的整数值变成有符号数。 例：对于 n=8 ，即将 0~255 的值域，通过减去 128 ，转换为值域在[128 ~127] 内。 2.DCT变换 DCT变换的全称是离散余弦变换（DCT），能够将空域的信号转换到频域上。 图像的存储过程中,高频部分往往占用了很大的空间,而低频部分却占用的不多,因此,
实验五 JPEG解码
weixin_43175007的博客
05-25 1020
JPEG压缩编码原理简介 一般来说JPEG有两种基本压缩方法： 有损压缩：以DCT为基础，压缩比较高。 无损压缩：又称预测压缩，以二维DPCM为基础。 本文讨论基于DCT的压缩方法，其基本流程框图如下：（其实这张图也不是特别全面） 我们假设输入图像为f(x,y)，对其编解码过程进行简单描述： 1.预处理 一般将输入信息转为YUV空间进行处理。 将输入图像进行像块分割，对亮度信息分成8*8的像块。 直流电平下移，即直流电平下移2^7=128，提高编码效率。 2.DCT变换 即离散余弦变换，目的是去除空间
FFmpeg保存camera yuv数据帧为jpeg图片
dodo128的博客
07-10 1954
说明： 由于android原生的YuvImage.compressToJpeg()可能存在内存泄漏的情况，此处使用ffmpeg将yuv数据帧直接保存为jpeg图片。 输入：yuv数据，由camera采集的nv21数据 输出：jpeg图片 由于此处采样的是nv21数据，而最终保存的是YUVJ420P,因而需要对数据进行转换；若是输入为其它格式，则做相应的转换。 具体如下： 1.yuv帧转jpg图片： /** * @param dt 数据帧 * @param w 图片width * @param h 图片hei
JPEG 压缩攻击原理
最新发布
07-13
JPEG压缩算法的原理是基于离散余弦变换（DCT）和量化。首先，图像被分成8x8的小块，每个小块内的像素值经过DCT变换，将其从空域转换到频域。DCT变换将图像的高频信息转换为能量较低的系数，从而实现了图像的压缩。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值