冈萨雷斯《数字图像处理》读书笔记（三）

第6章 彩色图像处理

目录

一、彩色基础

二、彩色模型

三、色彩转换

四、彩色图像处理基础

五、彩色图像处理

六、彩色图像的噪声

七、彩色图像的压缩

附加知识点

一、彩色基础
彩色定义：彩色是物体的一种属性，他依赖于一下三个方面的因素。

（1）光源——照射光的谱性质或谱能量分布

（2）物体——被照射物体的反射性质

（3）成像接收器（眼睛或成像传感器）——光谱能量吸收性质

 

二、彩色模型
彩色模型也称彩色空间或彩色系统，是用来精确标定和生成各种颜色的一套规则和定义，它的用途是在某些标准下用通常可接受的方式简化彩色规范。彩色模型通常可以采用坐标系统来描述，而位于系统中的每种颜色都可由坐标空间中的单个点来表示。

RGB模型：该模型是工业界的一种颜色标准，是通过对红绿蓝三个颜色亮度的变化以及他们相互之间的叠加来得到各种各样的颜色的，该标准几乎包括了人类视觉所能感知的所有颜色，是目前运用最广的颜色模型之一。

每种颜色出现在红、绿、蓝的原色光谱分量中。RGB原色值位于3个角上；二次色青色、深红色和黄色位于另外3个角上，黑色位于原点处，白色位于远离远点最远的角上。该模型中，灰度沿着连接这两点的直线从黑色延伸到白色。假定所有的颜色值都归一化了。

用RGB彩色模型表示的图像包含三个图像分量，分别于红、绿、蓝三原色相对应。当送入RGB监视器时，这三幅图像在荧光屏上混合产生一幅合成的彩色图像。在RGB空间中，用于表示每一个像素的比特数称为像素深度。

24比特深度的图像通常称为真彩色或全彩色图像。

CMY模型：采用青、品红、黄色三种基本原色按一定比例合成颜色的方法。由于色彩的显示不是直接来自于光线的色彩，而是光线被物体吸收掉一部分之后反射回来的剩余光线所产生的，因此CMY模型又称减色法混合模型。

RGB模型为光的三基色，CMY描述的是颜料的三原色；一般应用于彩色打印机和复印机等。可由RGB转换得到(已经归一化)： 

CMYK模型：CMY模型中加上黑色。

等量的颜料原色青色、深红色和黄色可以生成黑色，但产生的黑色是不纯的，因此加入第四种颜色——黑色，构成CMYK彩色模型，及“四色打印”

HSI模型：HSI模型是从人的视觉系统出发，直接使用颜色三要素——色调（hue）、饱和度（Sturation）和亮度（Intensity，有时也翻译作密度或灰度）来描述颜色。色调和饱和度统称为色度

@亮度是指人感觉光的明暗程度。光的能量越大，亮度越大。

@色调是彩色最重要的属性，决定颜色的本质，由物体反射光线中占优势的波长来决定，不同的波长产生不同的颜色感觉。由角度表示，反映了该颜色最接近什么样的光谱波长（即彩虹中的哪种颜色）0度为红色，120度为绿色，240度为蓝色。0度到240度覆盖了所有可见光谱的颜色，240度到300度是人眼可见的非光谱色（紫色）

@饱和度是指颜色的深浅和浓淡程度，饱和度越高，颜色越深。饱和度的深浅和白色的比例有关，白色比例越多，饱和度越低。

HSV模型：是人们用来从调色板或颜色轮中挑选颜色（例如颜料、墨水等）所采用的的彩色系统之一。HSV表示色调、饱和度和数值。该系统比RGB更接近于人们的经验和对彩色的感知

三、色彩转换
RGB->HSI: 
  
 
 
HSI->RGB: 
1. 0<=H<120: 
 
2. 120<=H<240: 
 
 
3. 240<=H<360: 

四、彩色图像处理基础
1、伪彩色图像处理
伪彩色图像处理指基于一种指定的规则对灰度值赋以颜色的处理。伪彩色的主要应用是人目视视察和解释单幅图像或序列图像中的灰度级事件。(灰度图像->灰度分层处理->彩色图像)。

伪彩色图像处理有三种方法：灰度分层法、灰度级-彩色变换法、频域滤波法

2、灰度分层

将灰度图像中的像素灰度理解为高度，则可以将图像转为三维，通过插入分割平面，将图像划分为不同的“层”，为每一层赋以一种彩色。

3、灰度级到彩色变换

多光谱图像处理中，不同的传感器在不同的频段产生独立的单色图像，常组合为一副彩色图像。

典型的变换传递函数：

4、 频域滤波法

频域滤波法伪彩色处理技术原理示意图：

5、 全彩色图像处理

全彩色图像处理技术总的可以分为两大类：

（1）对3个平面分量单独处理，然后将分别处理过的三个分量合成彩色图像，对每个分量的处理技术可以应用到对灰度图像处理的技术上，然后合成彩色图像。

如下线性滤波：

其实彩色图像的处理方法与灰度图像极其类似，很多时候我们把彩色图像分割成各分量的图像，然后使用灰度图像处理方法来处理它们。

（2）直接对彩色像素进行处理。因为全彩色图像至少有3个分量，彩色像素实际上是一个向量，直接处理就是同时对所有分量进行无差别的处理。

令c代表RGB彩色空间的一个任意向量： 

 
c的分量仅是一幅彩色图像在一点处的RGB分量，可以认为彩色分量是坐标(x,y)的函数： 

 
即把彩色图像分解为各分量的灰度图像。 

五、彩色图像处理
1、彩色变换
彩色变换主要涉及在单一色彩模型内处理彩色图像的分量，而不是这些分量在不同模型间的转换。 

其中f(x,y)是彩色输入图像，g(x,y)是变换或处理后的彩色输出图像，T是在空间邻域（x,y）上对f的操作。

用彩色变换调整图像亮度

g(x,y)=kf(x,y)  0<k<1

HIS彩色空间，可以作简单变换：

,这里,仅仅改变亮度分量。

RGB彩色空间，3个分量都必须变换：

CMY空间为一个相似的线性变换集：

主要思路还是将彩色图像的各分量分开，以灰度图像处理的方式分别处理。 
<1>. 补色； 

在如图所示的彩色环上，与一种色调直接相对立的另一种色调称为补色。

作用：增强嵌在彩色图像暗区的细节

补色变换函数：

<2>. 彩色分层； 

突出图像中特殊的彩色区域对从其周围分离出目标物是很有用的。

基本思路:
(1)显示感兴趣的颜色以便从背景中把它们分离出来;
(2)像模板那样使用由彩色定义的区域，以便进一步处理。

●最直接的方法是沿用灰度分层技术。
●最简单的方法之一是把某些感兴趣区域以外的区域的彩色映射为不突出的自然色。

<3>. 色调和彩色矫正； 

一幅图像的灰度范围也叫做“主调型”，它提供一般彩色强度的分布信息。
➢高主调图像的多数信息集中在高亮度处
➢低主调图像的彩色主要位于低亮度处:
➢中间主调图像位于其中间亮度处
◆正像在单色情况下，彩色图像亮度最好在高亮度和阴影之间均匀分布

<4>. 直方图处理； 

灰度直方图均衡自动地确定一种变换，这种变换试图产生具有均匀的灰度值的直方图。在单色图像情况下能成功处理低、中和高主调图像。
彩色图像是由多个分量组成的，独立地进行彩色图像分量的直方图均衡通常是不明智的，这将产生不正确的彩色。
一个更合乎逻辑的方法是均匀地扩展彩色强度，保留彩色本身(即色调)不变。
<5>. 平滑和锐化； 

见下
<6>. 基于彩色的图像分割。

见下

2、平滑和锐化
平滑 

➢如标量图像一样，该向量分量可以用传统的灰度邻域处理单独地平滑RGB图像的每一个平面得到。

➢用邻域平均值平滑可以在每个彩色平面的基础上进行。

 
锐化 

●采用拉普拉斯算子进行图像锐化处理。
●向量的拉普拉斯被定义为一向量，其分量等于输入向量的独立标量分量的拉普拉斯微分。
●在RGB彩色系统中，向量c的拉普拉斯变换为:

可以通过分别计算每一分量图像的拉普拉斯去计算全彩色图像的拉普拉斯
3、基于彩色的图像分割
HSI彩色空间分割

●在色调图像中描述彩色是很方便的。
●为了在色调图像中分割出感兴趣的特征区，饱和度被用作一个模板图像。在彩色图像分割中强度图像不常使用，因为它不携带彩色信息。
➢H色调图像方便描述彩色
➢S饱和度图像做模板分离感兴趣的特征区➢I强度图像不携带彩色信息,
RGB向量空间分割

●通常用RGB彩色向量分割的结果更好，该方法是直接的。
●(假如目标是在RGB图像中分割特定彩色区域的物体。给定一个感兴趣彩色的有代表性的彩色点样本集，可得到一个彩色“平均”估计，这种彩色是我们希望分割的彩色。

●令这个平均彩色为RGB向量A。Z代表RGB空间中的任意一点，Z和A间的欧氏距离由下式给出，是特定的距离阈值。

如果D(Z,A)<=，则Z与A相似

如果D(Z,A)>，则Z与A不相似
彩色边缘检测

六、彩色图像的噪声
彩色图像噪声的内容在每个彩色通道中具有相同的特性，但是，可能对不同彩色通道造成的影响不同。

➢个别通道的电子学故障。
➢由于每个彩色通道的相对照射强度的差异造成不同的噪声程度。

七、彩色图像的压缩
➢数据压缩在存储和传输彩色图像中起核心作用，因为描述彩色要求的比特数比描述灰度的数量大3到4倍。
➢作为压缩对象的数据是各彩色像素的分量。
➢压缩是减小或消除冗余度或者不相干数据的处理。

附加知识点
彩色图像：每个像素由R、G、B三个分量表示，每个通道取值范围0~255。数据类型一般为8位无符号整形。

灰度图像：每个像素只有一个采样颜色的图像，这类图像通常显示为从最暗黑色到最亮的白色的灰度。

二值图像（黑白图像）：每个像素点只有两种可能，0和1.0代表黑色，1代表白色。数据类型通常为1个二进制位。

索引图像：类似于查字典，为了解决彩色图像消耗空间大的问题，一般应用于色彩构成比较简单的场景。
其中，索引图像包括一个数据矩阵X，一个颜色映像矩阵Map。其中Map是一个包含三列、若干行的数据阵列，其中每个元素的值均为[0, 1]之间的双精度浮点型数据。Map矩阵的每一行分别表示红色、绿色和蓝色的颜色值。在MATLAB中，索引图像是从像素值到颜色映射表值的“直接映射”。像素颜色由数据矩阵X作为索引指向矩阵Map进行索引，例如，值1指向矩阵Map中的第一行，值2指向第二行，以此类推。

图中圆圈内的就是索引图像的索引表，下面的就是其对应RGB颜色表。

图中小圆圈处的索引号是5，对应RGB颜色的第5行，所以该处RGB颜色实际是0.2902 0.0627 0.0627

索引图像的作用就是体积小，方便传输，只需要把索引表传输过去，接收方用对应的RGB颜色表还原就行。

————————————————

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
                        
原文链接：https://blog.csdn.net/qq_37692302/article/details/89408224

第7章 小波变换和其他图像变换

序言
什么是小波

“小波”（wavelet）就是一种“尺度”很小的波动，并具有时间和频率特性

小波函数必须满足以下两个条件：

（1）小波必须是振荡的；

（2）小波的振幅只能在一个很短的一段区间上非0，即是局部化的。如

■傅里叶变换的基础函数是正弦函数。

■小波变换基于一些小型波，称为小波，具有变化的频率和有限的持续时间。

◆傅里叶变换反映的是图像的整体特征,  其频域分析具有很好的局部性，但空间(时间)域上没有局部化功能。
◆与傅里叶变换相比，小波变换是空间(时间)和频率的局部变换，它通过伸缩平移运算对信号逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求，从而可聚焦到信号的任意细节。
◆小波变换是基于具有变化的频率和有限持续时间的小型波进行的。它是多分辨率理论的分析基础。
◆多分辨率理论将多种学科的技术有效地统一在一起，其优势很明显某种分辨率下所无法发现的特性在另一种分辨率下将很容易被发现。
本文将从多分辨率的角度解释小波变换。

一、背景
◆物体的尺寸很小或者对比度不高的时候，通常采用较高的分辨率观察。
◆物体尺寸很大或者对比度很强，只需要较低的分辨率。
◆物体尺寸有大有小，强弱对比度同时存在，则适合用不同的分辨率对其进行研究。

1、图像金字塔
■以多分辨率来解释图像的一种简单有效的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低的图像集合。
■金字塔的底部是带处理图像的高分辨率表示，而顶部是低分辨率的近似。当向金字塔的上层移动时，尺寸和分辨率就降低。

基础级J的大小为NXN()
顶点级0的大小为1X1
第j级的大小为$2j∗$2j
$
2
𝑗
∗
$
2
𝑗
 (0≤j≤ J)共有J+1级，但是通常我们截短到P+1级，其中1≤P<J

➢J-1级近似输出用来建立近似值金字塔;作为金字塔基级的原始图像和它的P级减少的分辨率近似都能直接获取并调整;
➢J级的预测残差输出用于建立预测残差金字塔;近似值和预测残差金字塔都通过迭代计算获得。

迭代算法
1. 初始化，原始图象大小$2j∗$2j
$
2
𝑗
∗
$
2
𝑗
，j=J
2.  j-1级，以2为步长进行子抽样，计算输入图像减少的分辨率近似值—j-1级近似值，生成子抽样金字塔。
3.对j-1 级近似值进行步长为2的内插，并进行过滤，生成与输入图像等分辨率的预测图像。
4.输入图像和预测图像之间的差异，产生预测残差金字塔。
5.重复2、3、4步骤。

2、子带编码
■子带编码也是多分辨率相关的重要图像技术。
■在子带编码中,  一幅图像被分解为一系列限带分量的几何，称为子带。
      ■子带可以重组在一起无失真地重建原始图象
      ■每个子带通过对输入进行带通滤波而得到
      ■子带带宽小于原始图像带宽，子带可以进行无信息损失的抽样
      ■原始图象的重建可以通过内插、滤波、和叠加单个子带来完成

栗子：如下图，系统输入是一个一维的带限时间离散信号x(n)
■分析滤波器h0 (n)和h1(n)是半波数字滤波器，理想传输函数H0, H1如下图所示。
■H0低通滤波,输出x(n)的近似值
■H1高通滤波，输出x(n)的高频或细节部分
■综合滤波器go (n)和g1(n)
■  为重构的结果

序列x(n)的Z变换

时域以2为因子的抽样对应到Z域

同样的，以2为因子的内插对应的变换为

x(n)先抽样再内插得到

系统输出

滤波器h0(n)的输出

整理

注意：第二项含有-z，代表了抽样—内插过程带来的混叠。

对输入的无失真重建，假定下列条件：

滤波器和综合滤波器双正交（证明略）

如下图，一维滤波器用于图像处理的二维可分离滤波器，可分离滤波器首先应用于某一维( 如水平方向)，在应
用于另一维(如垂直方向)

3、哈尔变换
它的基函数是最普遍也是最简单的正交小波，且哈尔变换本身对称、可分离，矩阵表示：,F是N*N图像矩阵，H是N*N变换的结果。

哈尔基函数：

二、多分辨率展开
◆图像金字塔、子带编码和哈尔变换，在数学理论多分辨率分析中扮演了重要角色。
◆在多分辨率分析( MRA )中，尺度函数被用于建立某一函数或图像的一系列近似值，相邻两近似值之间的近似度相差2倍。
◆被称为小波的附加函数用于对相邻近似值之间的差异进行编码

1、序列展开
信号或函数可以分解为一系列展开函数的线性组合

其中，k是有限或无限和的整数下标，是具有实数值的展开系数,  是具有实数值的展开函数
如果展开方式唯一，则任何指定的f (x)只有一个序列与之相对应
    ■称为基函数
    ■展开序列{}称为可表示这一类函数的基。

可展开的函数组成了一个函数空间，被称为展开集合的闭合跨度
其中。f(x)∈V表示f(x)属于{}跨度，可以写成形式

系数ak可以通过内积得到

2、尺度函数
 

考虑整数平移和实数二值尺度、平方可积函,数φ (x)组成的可展开函数集合

k决定了在x轴的位置

■j决定了的宽度

■控制其高度或幅度
的形状随着j发生变化，φ (x)被称为尺度函数
通过选择适当的φ(x)，{}可以决定跨度,  所有可量度的平方可积函数的集合。

定义代表任何j，k上的跨度子空间

增大j，用于表示子空间函数的范围变窄；增加j将增加的大小，将允许具有变化较小的变量和较细节函数包含在子空间中。

3、小波变换
 

给定满足_MRA要求的尺度函数，能够定义小波函数ψ(x)(与它的积分变换及其二进制尺度)，跨越了相邻两个尺度子空间和的差异

用尺度函数可得

如果f (x)=Wj

尺度函数与小波函数的关系

其中表示空间并集
中的正交补集是Wj，中所有成员对于Wj中的所有成员都正交

所有可量度的、平方可积函数空间表示为:

任何小波函数可以表示为平移的双倍分辨率尺度函数的加权和
其中被称为小波函数系数;为小波向量
利用小波跨越的正交补集空间、积分小波变换是正交的条件，可得

三、一维小波变换
1、小波序列展开

展开系数计算：

2、离散小波变换

3、连续小波变换

反连续小波变换

DWT和CWT的相似性
■连续变换参数T取代了 积分变换参数K
■连续尺度参数s与二进制尺度参数2j相反。
      ■连续尺度参数s出现在分母上，小波尺度和通常意义上的频率定义相反
      ■0 <s<1时，被压缩或宽度减小

      ■s>1时，扩大或展开

■CWT开始展开j0=-∞，消除了尺度函数间的明显关联
函数只包括小波项
■和DWT相似，CWT可以被看成是一-组变换系数，它给出f(x)与基函数集的相似性。

在连续情况下，两个集合都是无穷的

4、快速小波变换FWT

快速小波变换与FFT的比较

■  运算的复杂性
      对于FWT，长度为的序列的FWT的运算次数是0(M)阶，即:浮点乘法和加法(使用滤波器族)的次数与序列的长度存在这线性关系；FFT需要0 (MogM)阶。

■  变换的基函数

      傅里叶的基函数(正弦函数)保证了FFT的存在；FWT的存在取决于使用的小波函数的尺度函数是否存在，以及尺度函数和相应的小波函数的正交/双正交性

■  表达函数时，时间和频率通常被作为不同的域来处理，它们之间存在这不可分割的关系

      例如，要得到时域有价值的信息，就要忍受频域模糊，反之亦燃----海森伯测不准原理。块不重叠是正交基函数的特点。

■

■标准时域基给出时间发生的时刻，没有频域信息

■正弦基给出时间发生的频率但是没有时间分辨率

■FWT时间和频率分辨率是变化的
     低频:块短而宽，即有较好的频率分辨率，对应较差的时间分辨率
     高频:块窄而高，即有较高的时间分辨率，频率分辨率下降

四、二维小波变换
二维乘积可分离的尺度函数

二维可分离方向敏感小波

定义尺度和平移基函数

M*N的函数f(x,y)的离散小波变换

离散反小波变换

二维DWT可以用数字滤波器和抽样来实现

小波在图像处理中的用途，如在傅里叶域那样，基本方法是:
■计算一幅图像的二维小波变换

■修改变换

■计算反变换

栗子：基于小波的边缘提取

五、小波包
■快速小波变换将一个函数分解为一系列与对数相关的频段
     ■低频被组成窄频段
     ■高频被组成宽频段

■想要较大的控制时频平面的一部分，FWT必须有更灵活的分解一一小波包
      ■产生过程的代价是FWT计算复杂度增加，从0 (M)到0 (M ogM)

三尺度FWT分析族、分析数和相应的频谱

■分析树提供了多尺度小波变换的紧凑有效的方法
    ■  比对应的滤波器和基于子取样的方框图更容易画，并占有较少的空间
    ■  相对容易定位有效分解

■三阶分析数提供了三种展开选择

六、小结
■小波变换是强有力的时频分析工具，是在克服傅立叶变换缺点的基础.上发展而来的。已成功应用于很多领域，如信号处理、图像处理、模式识别等。

■小波 变换的一个重要性质是它在时域和频域均具有很好的局部化特征，它能够提供目标信号各个频率子段的频率信息。这种信息对于信号分类是非常有用的。

■小波变换一个信号为一个小波级数，这样一个信号可由小波系数来刻画。

七、小波变换的应用
➢信号稀疏表示与重构;

➢信号、  图像去噪;

➢图像边缘检测、目标检测;

➢数据融合、  图像融合;

➢特征提取、模式识别;

➢红外图像背景抑制、  目标识别等。

附录
小波的秘密1_小波变换概况与综述

小波的秘密2_连续、离散小波变换定义

小波的秘密3_多分辨率分析和连续小波变换1

小波的秘密4_多分辨率分析和连续小波变换2

小波的秘密5_小波包的理解

小波的秘密6_图像处理应用:图像压缩

小波的秘密7_图像处理应用:图像降噪

小波的秘密8_图像处理应用:图像增强

小波的秘密9_小波包的数学支撑

多尺度与多分辨率的理解

小波变换和多分辨率处理
————————————————

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
                        
原文链接：https://blog.csdn.net/qq_37692302/article/details/89424729

第8章 图像压缩和水印

目录

一、图像压缩基本概念

1、图像压缩的可能性

2、图像压缩的可能性

二、图像压缩模型

三、信息论要素

四、无损压缩和有损压缩

五、有损压缩

1、有损预测编码

（1）有损压缩的基本概念

（2）量化器

（3）量化器的定义

（4）无损到有损——算法演变

2、变换编码

六、图像视频压缩标准

1、图像压缩标准

2、JPEG标准的划分

3、JPEG2000压缩标准(ISO 15444)

4、视频压缩

5、视频编解码标准

6、264/AVC标准

7、H.264实现的目标

8、视频编解码技术的下一步发展趋势探讨

一、图像压缩基本概念
为什么要进行图像压缩？

举个栗子： 一部90分 钟的彩色电影，每秒放映24帧。把它数字化，每帧512x512象素， 每象素的R、G、B三分量分别占8 bit，总比特数为:90*60*24*3*512*512*8bit=97200MB=95GB.
如一张CD光盘可存600兆字节数据，这部电影图像(不包括声音)就需要160张CD光盘用来存储。

1、图像压缩的可能性
图像作为信源有很大的冗余度，通过编码的方法减少或去掉这些冗余信息后可以有效压缩图像，同时又不会损害图像的有效信息。数据是用来表示信息的。如果不同的方法为表示等量的信息使用了不同的数据量，那么使用较多数据量的方法中，有些数据必然是代表了无用的信息，或者是重复地表示了其它数据已表示的信息，这就是数据冗余的概念。

相对数据冗余
如果n1和n2代表两个表示相同信息的数据集合中所携载信息单元的数量，则n1表示的数据集合的相对数据冗余定义为:

其中为压缩率

相对数据冗余和压缩率的一些特例

2、图像压缩的可能性
■三种基本的数据冗余

编码冗余

如果图像中平均每个像素使用的比特数大于该图像的信息熵，则图像中存在冗余。

像素冗余

  ◆反映图像中像素之间的相互关系:空间冗余，几何冗余，帧间冗余

  ◆因为任何给定像素的值可以根据与这个像素相邻的像素进行预测，所以单个像素携带的信息相对较少

  ◆对于一幅图像，很多单个像素对视觉的贡献是冗余的。它的值可以通过与它相邻的像素值为基础进行预测

      如:原图像数据: 250 253 251 252 250; ----40bit。

          压缩后数据:  250   3    1     2     0  ----  14bit。

视觉心理冗余

●人眼感觉到的图像区域亮度不仅取决于该区域的反射光，例如根据马赫带效应，在灰度值为常数的区域也能感觉到灰度值的变化
●这是由于眼睛对所有视觉信息感受的灵敏度不同。在正常视觉处理过程中各种信息的相对重要程度不同
●有些信息在通常的视觉过程中与另外一些信息相比并不那么重要，我们认为这些信息是心理视觉冗余的，去除这些信息并不会明显降低图像质量
➢由于消除心理视觉冗余数据会导致一定量信息的丟失，所以这一-过程通常称为量化
➢心理视觉冗余压缩是不可恢复的，量化的结果导致了数据有损压缩。

■如果能减少或消除上述三种冗余的1种或多种冗余，就能取得数据压缩的效果。

保真度准则——评价压缩算法的标准
a.客观保真度准则—定量描述
b.主观保真度准则—定性或定性基础上的定量描述

➢客观保真度准则
如果信息损失的程度，可以表示为原始或输入图像与压缩后又解压缩输出的图像的函数，这个函数就被称为客观保真度准则。
一般表示为：
e(x, y) = f '(x, y) − f (x, y)
式中：f(x,y)是输入图像，f '(x, y)是压缩后解压缩的图像， e(x,y)是误差函数
由此可得两个图像之间的均方根误差：

均方信噪比：

➢主观保真度准则

通过视觉比较两个图像，给出一个定性的评价，如很粗、粗、稍粗、相同、稍好、较好、很好，这种评价被称为主观保真度准则

二、图像压缩模型
一个图像压缩系统:编码器和解码器。
➢编码器由一个消除输了冗余的信源编码器和一个用于增强信源编码输出的噪声抗扰性的信道编码器构成。

➢解码器由一个信源解码器和一个信道解码器构成。

信源编码器

减少或消除输入图像中的编码冗余、像素间冗余及心理视觉冗余。

■转换器:减少像素间冗余,
■量化器:减少心理视觉冗余，该步操作是不可逆的
■符号编码器:减少编码冗余
并不是每个图像压缩系统都必须包含这3种操作，如进行无误差压缩时，必须去掉量化器

信源解码器

■符号解码器:进行符号编码的逆操作

■反向转换器: 进行转换器的逆操作
为什么没有反向量化器? ---量化过程导致了不可逆的信息损失

信道编码器和信道解码器
■信道编码是解决可靠性问题，尽量使处理过的信
号在传输过程中不出错或少出错，即使出错也要有能力尽量纠正错误。

■汉明(Hamming)编码:在编了码的码字后面增加足
够的比特位以保证各个正确的码字之间至少有一定数量的比特位不相同

三、信息论要素
信源的定义：信源指能够产生信息的事物

如上图。第一行是信源可能产生的信息，第二行是这些信息出现的概率

信息量：

熵：

编码应用中，熵表示信源中消息的平均信息量。在不考虑消息间的相关性时，是无失真代码平均长度比特数的下限。

说明该信源编码平均码长最短情况下为7/4，不能再小，否则就会引起错误。而平均码长比此数大许多时，就表明还有待改进。

熵的性质:
(1) 熵是一个非负数，即总有H(s)>=0。
(2) 当其中一个符号sj的出现概率p(sj)=1时，其余符号si(i≠j)的出现概率p(si)=0，H(s)=0。
(3) 当各个si出现的概率相同时，则最大平均信息量为logq。(此处对数以2为底)
(4)熵值总有H(s)< logq。(此处对数以2为底)

无失真编码定理
可以证明，在无干扰的条件下，存在一:种无失真的编码方法，使编码的平均长度L与信源的熵H(s)任意地接近,  即L=H(s)+ε。其中ε为任意小的正数，但以H(s)为其下限即L≥H(s)，这就是香农(Shannon)无干扰编码定理。

编码效率：

压缩比：

由香农(Shannon)无干扰编码定理，无失真编码最大可能的数据压缩比为：

熵与冗余度的关系
对于无失真图像的编码，原始图像数据的压缩存在一个下限，即平均码组长度不能小于原始图像的熵，而理论上的最佳编码的平均码长无限接近原始图像的熵。

信息冗余度一“信息剩余度”。是指一定数量的信号单元可能有的最大信息量与其包含的实际信息量之差。通常用R表示。在通信系统中，信源编码是降低信号中的信息冗余度的编码，目的是提高通信系统的有效性；信道编码是提高信息冗余度的编码，目的是提高通信系统的可靠性

基本编码定理

无噪声编码定理

噪声编码定理

信源编码定理

四、无损压缩和有损压缩

无误差压缩的必要性
■  在医疗或商业文件的归档，有损压缩因为法律原因而被禁止
■ 卫星成像的收集，考虑数据使用和所花费用,不希望有任何数据损失
■X光拍片，信息的丢失会导致诊断的正确性无损压缩的压缩率一般为2-10

无误差压缩技术
■减少像素间冗余:建立一种可替代的图像表达方式
减少编码冗余:对这种表达方式进行编码

变长编码
➢霍夫曼(Huffman)编码

➢其它变长编码

➢算术编码

LZW编码

位平面编码

无损预测编码

霍夫曼编码栗子：

几种变长编码：

五、有损压缩
概述
■牺牲图像复原的准确度以换取压缩能力的增加

■如果产生的失真可以容忍，则压缩能力的增加是有效的
分类
■有损预测编码
➢直接对像素在图像空间进行操作，称为空域方法

■变化编码
➢基于图像变换的编码方法，称为变换域方法

1、有损预测编码
（1）有损压缩的基本概念
有损压缩是：■通过牺牲图像的准确率来达到增大压缩率的目的。
                      ■如果容忍解压后的结果中有一定的误差，那么压缩率可以显著提高。
有损压缩方法的压缩比:■在图像压缩比大于30:1时，仍然能够重构图像。
                                     ■在图像压缩比为10:1到20:1时，重构图像与原图几乎没有差别，且无损压缩的压缩比很少有能超过3:1的。
有损与无损压缩的根本差别在于有没有量化器模块。

数据源编、解码一般类型：

（2）量化器
■减少数据量的最简单的办法是将图像量化成较少的灰度级，通过减少图像的灰度级来实现图像的压缩;

■这种量化是不可逆的，因而解码时图像有损失。
例如:如果输入是256个灰度级，对灰度级量化后输出，只剩下4个层次，数据量被大大减少。

（3）量化器的定义
阶梯形量化函数t=q(s)，是一个s的奇函数(即q(-s)=-q(s))，它可以通过L/2、和来完全描述，从而定义了一个量化器。
■被称为量化器的决策级(阈值) ;

■被称为量化器的重构级(代表级)。 

■L:  是量化器的级数。
由于习惯的原因，被认为是映射到，如果它在半开区间(, ]

（4）无损到有损——算法演变
基本思想

对无损预测压缩的误差进行量化，通过消除视觉心理冗余，达到对图像进一步压缩的目的。

                                                                                                      ——引入量化（Quantification）

解码原理及过程

注意:上述方案的压缩编码中，预测器的输入是fn,  而解压中的预测器的输入是fn'，要使用相同的预测器，编码方案要进行修改。

修改后的有损预测编码：

DPCM简介
差分脉冲编码调制(Differential Pulse CodeModulation, DPCM)，采用反馈方法预测估值。

编码原理图：

​​​​​​​2、变换编码
编码、解码流程图：

变换编码基本原理

将FFT逆变换​​​​​​表达式进行改写：

变换编码，即要用等式的右部近似原图像。

进一步改写：

其中:
1)F是一个包含了f(x,y)的象素的n*n的矩阵;
2)的值只依赖坐标变量x,y,u,v，与T(u,v)和f(x,y) 的值无关。被称为基图像。可以在变换前一次生成，对每一个n*n的子图变换都可以使用。

基图像：

误差评估：

其中，||F-^F||是(F- ^F)的矩阵范数，是变换在(u,v)位置上的系数方差。
最后的简化是基于基图像的规范正交，并假设F的像素是通过一个具有0均值和已知协方差的随机处理产生的。

误差评估小结

      (1)总的均方近似误差是丢弃的变换系数的方差之和(也即对于m(u,v) =0的系数方差之和)。。

      (2)能把大多数信息封装到最少的系数里去的变换，可得到最好的子图像的近似，同时重构误差也最小。

      (3)在导致等式成立的假设下，一个NX N的图像的(N/n)2个子图像的均方误差是相同的。因此，NX N图像的均方误差(是平均误差的测量)等于一个子图像的均方误差。

变换编码的几个关键问题

■变换的选择

■对变换的评价

■子图尺寸的选择

■压缩的位分配（编码）

变换的选择
(1) Karhunen-Loeve变换(KLT)

(2)离散傅立叶变换(DFT)

(3)离散余弦变换(DCT)

(4) Walsh-Hadamard变换( WHT)

(5)离散小波变换(DWT)

算法的实现
<1> 计算模板:方差最大的地方置1，其它地方置0;

<2>量化系数:例如最优Lloyd-Max量化器

<3〉结果编码:有两种分配二进制位的编码方法:
①系数被赋予相同数量的二进制位。
②系数之间固定地分配---定的二进制位。

六、图像视频压缩标准
1、图像压缩标准
◆JPEG—— 静态图像压缩标准
Joint Photographic Experts Group(联合图像专家组)

◆JPEG2000——新一代静态 图像压缩标准

适用范围:
➢灰度图像，彩色图像
➢静止图像的压缩，视频序列帧内图像压缩

JPEG压缩标准（ISO 10918-1）

2、JPEG标准的划分
4种编码模式

      ■lossless encoding mode

      ■DCT based sequential encodingDCT_ based progressive encoding

      ■DCT_ based hierarchical encoding

3种技术层次(按算法的复杂性)

      ■基本系统(Baseline System)

      ■扩展系统(Extended System,提供二进制算术编码)

      ■专用无损失系统(Independent System)

3、JPEG2000压缩标准(ISO 15444)
      ■核心技术是离散小波变换(DWT)

      ■高压缩率

      ■同时支持有损和无损压缩

      ■实现了渐进传输

      ■支持“感兴趣区域”压缩

4、视频压缩
视频的定义：

      ■由多副尺寸相同的静止图像组成的序列

      ■与静止图像相比，视频多了一个时间轴，成为三维信号

5、视频编解码标准

视频压缩标准对比：

视频压缩标准对比（续）：

6、264/AVC标准
2001年12月，ITU的视频编编码专家组(VideoCoding Experts Group,  简称VCEG)与ISO/IEC的MPEG(Motion Picture Experts Group)组成联合视频组(Joint Video Team,  简称JVT) ,  于2003年4月最终制定了H.264/AVC编码标准,其在ITU系列中称为H.264，在MPEG系列中称为MPEG-4第10部分高级视频编码模式(Advanced Video Coding，简称AVC。

H.264/AVC编解码器的基本架构

7、H.264实现的目标
 

■更高的编码效率，在H.263和MPEG-4的基础上，保持相同图像质量，节省50%的比特率。

■更好的图像质量，在各种编码速率条件下提供满意的主观图像质量。

■更强的时延适应性，适应低时延的实时通信应用，如视频会议等，也可适应高时延的数字存储等应用。

■更强的容错能力，适应包交换网络中的丢包和无线信道中的误码。

■更好的网络适应能力，分离视频编码层(VideoCoding Layer,简称VCL)和网络适配层(NetAbstraction Layer,简称NAL)，适应在不同特性的网络上打包传输。

8、视频编解码技术的下一步发展趋势探讨
■HEVC ( High Efficiency Video Coding )

■  随着网络技术和终端处理能力的不断提高，人们对目前广泛使用的MPEG-2，MPEG-4, H. 264等，提出了新的要求。希望能够提供:

1)高清

2) 3D

3)移动无线

以满足新的家庭影院、远程监控、数字广播、移动流媒体、便携摄像、医学成像等新领域的应用。

■新一代视频压 缩标准的核心目标是在H. 264/AVC high profile的基础上，压缩效率提高一倍。即在保证相同视频图像质量的前提下，视频流的码率减少50%。在提高压缩效率的同时，可以允许编码端适当提高复杂度。

Structure of the current HEVC model (HM3)

 
————————————————

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
                        
原文链接：https://blog.csdn.net/qq_37692302/article/details/89425190