图像金字塔

本文介绍了图像金字塔的基本概念和推到过程，进而清晰阐明Gaussian and Laplacian Pyramid。
接着介绍了子带编码，进一步引出小波变换的概念。

背景

　

当观察图像时，通常看到的是相连接的纹理与灰度级相似的区域，它们相结合形成物体。如果物体的尺寸很小或对比度不高，通常采用较高的分辨率观察；如果物体尺寸很大或对比很强，只需要较低的分辨率。如果物体尺寸有大有小，或对比有强有弱的情况同时存在，以若干分辨率对它们进行研究将具有优势。当然，这就是多分辨率处理的魅力所在。 

从数学的观点看，图像是一个亮度值的二维矩阵，像边界和对比强烈区域那样的突变特性的不同组合会产生统计值的局部变化。如图7.1所示(该图像将在本章的其他部分多次出现)。在同一图像的不同部分，即使是一阶统计值也会大不相同，因此，无法对整个图像定义一个简单的统计模型。

 以多分辨率来解释图像的一种有效但概念简单的结构就是图像金字塔(Burt和Adelson[1983])。图像金字塔最初用于机器视觉和图像压缩，一幅图像的金字塔是一系列以金字塔形排列的分辨率逐步降低的图像集合。如图7.2(a)所示，金字塔的底部是待处理图像的高分辩率表示，而顶部是低分辨率的近似。当向金字塔的上层移动时，尺寸和分辨率就降低。因为基础级J的尺寸是2^J×2^J或N×N(J=log₂N)，中间级j的尺寸是2^j×2^j，其中0≤j≤J。完整的金字塔由J+1个分辨率级组成，由2^J×2^J到2⁰×2⁰，但大部分金字塔只有P+1级，其中j＝J-P，……，J-2，J-1，J且1≤P≤J。也就是说，通常限制它们只使用P级来减少原始图像近似值的尺寸。例如，一幅512×512图像的l×1或单像素近似值将非常小。P+1级金字塔(P>0)中的元素总数是：

 

  图7.2(b)显示了一个建立图像金字塔的简单系统。j-l级的近似输出用来建立近似值金字塔，包括原始图像的一个或多个近似值。作为金字塔基级的原始图像和它的P级减少的_盼辨率近似都能直接获取并调整。图7.2(b)中j级的预测残差输出用于建立预测残差金字塔。这些金字塔包括了原始图像的J-P级低分辨率的近似信息，以及建立P级较高分辨率的近似信息。j级的信息在相应近似金字塔的j级近似与基于j-1级预测残差得到的近的估计之间是不同的。对这些差异进行编码(用于存储或传输)将比对近似值进行编码有效得 多.

  如图7.2(b)的框图所表明的，近似值和预测残差金字塔都是以一种迭代的方式进行计算的。P+1级金字塔通过执行P次框图中的操作建立。第一次迭代和传递时，j=J，并且2^J×2^J的原始图像作为J级的输 入图像，从而产生J-1级近似值和J级预测残差。对于j=J-1，J-2，…，J-P+I(按这一顺序)的传递，前面迭代的j-1级近似值输出将作为输入。每次传递由3个连续步骤组成：

1.计算输入图像的减少的分辨率近似值。这可以通过对输入进行滤波并以2为步长进行抽样去做(即子抽样)。可以采用的滤波操作有很多，如邻域平均(它可生成平均值金字塔)，高斯低通滤波器(它可生成高斯金字塔)，或者不进行滤波，生成子抽样金字塔。生成近似值的质量是所选滤波器的函数，在图7.2(b)中以j-1级近似值进行标记。没有滤波器，在金字塔的上一层混淆变得很显著，子抽样点对所采取的区域没有很好的代表性。

2.对上一步的输出进行内插——因子仍为2——并进行过滤。这将生成与输入等分辨率的预测图像。由于在步骤1的输出像素之间进行插值运算，插 入滤波器决定了预测值与步骤1的输入之间的近似程度。如果插 入滤波器被忽略了，预测值将是步骤1输出的内插形式，复制像素的块效应将变得很明显。

3.计算步骤2的预测值和步骤1的输入之间的差异。以j级预测残差进行标识的这个差异将用于原始图像的重建(见例7.1)。在没有量化差异的情况下，预测残差金字塔可以用于生成相应的近似金字塔，包括原始图像，而没有误差。

执行上述过程P次将产生密切相关的P+l级近似值和预测残差金字塔。j-I级近似值的输出用于提供近似值金字塔；而j级预测残差的输出被放在预测残差金字塔中。如果不需要预测残差金字塔，步骤2、3和内插器、插入滤波器以及图7.2(b)中的加法器都可以省略 。

　

例

图7.3显示了图7.1中花瓶的一种可能的近似值和预测残差金字塔。图7.3(a)中的近似值金字塔是一个高斯金字塔。使用4.2.4节的图4.9(c)所描述的5×5低通高斯卷积核在空间域进行过滤。正如所看到的那样，处理后的金字塔包括512×512分辨率的原始图像(在底部)和3个低分辨率的近似值(分辨率分别是256 × 256，128×128以及64 ×64)。即P=3且金字塔被缩减到4级——可能的log₂(512)十1级(或者10级)中的9，8，7，6级。注意， 金字塔的分辨率越低，伴随的细节越少。例如，第6级(即64×64)近似对于定位窗 框很合适，但对于寻找黄蘖的茎就很不合适了。通常金字塔的低分辨率图像用于分析大的结构或图像的整体内容，而高分辨率图像用于分析单个物体的特性。这样的由粗糙到精细的分析策略在模式识别中特别适用。

图7.3(b)中的拉普拉斯金字塔包含了用于计算7.3(a)中其高斯对应部分的预测残差。为建立高斯金字塔，首先从拉普拉斯金字塔的第6级，64×64近似图像开始预测高斯金字塔的第7级，分辨率l28×128的近似值(通过内插和滤波实现)，并加上拉普拉斯的第7级预测残差。这个过程被重复使用计算近似图像.直到生成5l2×512的原始图像。注意.拉普拉斯金字塔的预测残差图像的一阶统计值是零点附近的高峰值。与它们的高斯对应部分不同，这些图像可以通过为更多可能值 分配较少比特数实现高比例压缩(参见8.1.l节的变长编码)。最终，将注意到图7.3(b)中的预测残差达到一种使较小的预测误差更明显的程度。然而，预测误差的直方图却是基于预标定的残差.以第128级表示O误差。

 

二.子带编码
　

另一种与多分辨率分析相关的重要图像技术是子带编码。在子带编码中，一幅图像被分解成为一系列限带分量的集合，称为子带，它们可以重组在一起无失真地重建原始图像。最初是为语音和图像压缩而研制的，每个子带通过对输入进行带通滤波而得到。因为所得到的子带带宽要比原始图像的带宽小，子带可以进行无信息损失的抽样。原始图像的重建可以通过内插、滤波和叠加单个子带来完成。

 图7.4(a)显示了两段子带编译码系统的基本部分。系统的输入是一个一维的带限时间离散信号x(n)，n=0，1，2，…；输出序列 (n)是通过分析滤波器h₀(n)和h₁(n)将x(n)分解成y₀(n)和y₁(n)，然后再通过综合滤波器g₀(n)和g₁(n)综合得到的。注意，滤波器h₀(n)和h₁(n)是半波数字滤波器，其理想传递函数H₀和H₁如图7.4(b)所示。滤波器H₀是一个低通滤波器，输出是x(n)的近似值；滤波器H₁是一个高通滤波器，输出是x(n)的高频或细节部分。所有的滤波都通过在时间域将每个滤波器的输 入与其冲激响应(对单位强度冲激函数δ(n)的响应)进行卷积来实现。我们希望能通过选择h₀(n)，h₁(n)，g₀(n)和g₁(n)(或G₀，G₁，H₀和H₁)来实现对输入的完美重构。即(n)=x(n)。

 　

离散傅里叶变换的一般推广(z变换)是研究如图7.4(a)所示的离散时间、数据采样系统的理想工具。序列x(n)(n=O，1，2，…)的Z变换是：

(7.1.1)

其中z是一个复变量[如果用e^jω代替z，式(7.l.1)将成为x(n)的离散傅里叶变换]。对Z变换的兴趣源于它处理采样率变化的便捷性。时域中以2为因子的抽样对应到Z域中为：

(7.1.2)

其中，双箭头表示左右两端的表达式组成了一对Z变换对。同样，以2为因子的内插，可以由变换对定义为：

(7.1.3)

如果对x(n)先抽样再内插得到 (n))，由式(7.1.2)和式(7.1.3)结合可得：

(7.1.4)

其中 (n)=z^-1[ (z)]就是对序列抽样.内插得到的结果。这个等式中X(-z)项是序列x(n)混叠的或调制的Z变换。其反Z变换是：

(7.1.5)

根据上述z变换简介，再来考虑图7.4(a)中的子带编译码系统。由式(7.1.4)可将系统输出表达为：

(7.1.6)

其中，图7.4(a)中的滤波器h₀(n)的输出由下述变换对定义：

(7.1.7)

与傅里叶变换一样，时域(或空间域)的卷积等价于Z域的乘积。整理式(7.1.6)可得：

(7.1.8）

其中,第二项由于含有-z的关系.它代表了抽样.内插过程带来的混叠。

对于输入的无失真重建， (n)=x(n)和 (z)=X(z)。因此，可以假定下列条件：

(7.1.9)

(7.1.10)

式(7.1.9)通过强制式(7.1.8)的第二项为零消除了混叠；而式(7.1.10)通过强制第一项等于X(z)消除了幅度失真。二者都可以合并成一维矩阵表达式：

(7.1.11)

其中分析调制矩阵H_m(z)为：

(7.1.12)

假定H_m(z)是非奇异矩阵(即左右倒置)，整理式(7.1.11)，左乘 可得：

(7.1.13)

det(H_m(z))表示H_m(z)的行列式。

式(7.1.9)到式(7.1 13)揭示了重建滤波器组的若干重要特性。如，矩阵(7.1.13)告诉我们G₁(z)是H₀(-z)的函数，而G₀(z)是H₁(-z)的函数。分析和综合滤波器交叉调制，也就是说，在7.4(a)的框图中对角线上相对的滤波器在Z域中以-z相关联。对于有限冲激响应(FIR)滤波器，调制矩阵的行列式是一个纯时延，即det(H_m(z))=αz^-(2k+1) (见Vetterli和Kovacevic[1995])。因此，交叉调制的准确形式是α的函数。z^-(2k+1)项可被认为是任意的，因为它只改变滤波器的群时延。忽略时延，令α=2，对式(7.1.13)做反Z变换，可得到：   

(7.1.14)

如果α=-2，结果的表达式符号相反：

(7.1.15）

因此，FIR综合滤波器是分析滤波器的交叉调制的副本，有且仅有一个符号相反。  

式(7.1.9)到式(7.1.13)也可以用来证明分析和综合滤波器的双正交性。令低通分析滤波器和综合滤波器传递函数的乘积为P(z)。由式(7.1.13)代 入G₀，可得：

(7.l.16）

由于det（H_m(z))=-det（H_m(-z))，

(7.1.17)

因此，G₁(z)H₁(z)=P(-z)=G₀(-z)H₀(-z)，式(7.1.10)变成：

(7.1.18)

做反Z变换可得：

通常冲激函数δ(n)在n＝0时等于1，而在其他情况下等于0。由于奇次方项相互抵消.可得①：

(7.1.19)

由式(7.1.9)和式(7.10)开始，并将H₀和G₀表示成G₁和H₁的函数，可得：

                       (7.1.20)

与式(7.1.19)合并，可得到更有普遍意义的表达式：

(7.1.21)

满足该条件的滤波器组称为具有双正交性。此外，所有两频段实系数的完美重建滤波器组的分析和综合滤波器的冲激响应服从双正交性约束。双正交FIR滤波器的例子有双正交spline族(Cohen，Daubechies和Feauveau[1992])和双正交此同时以coiflet族(Tian和Wells[1995])。

表7.1给出了式(7.1.9)和式(7.l.10)的通解。虽然它们都能满足式(7.1.21)的双正交要求，但各自的求解方式不同，定义的可完美重建的滤波器类也不同。每类中都依一定规格设计了一个“原型”滤波器，而其他滤波器由原型计算产生。表7.1的l，2列是滤波器族文献的经典结果，称为正交镜像滤波器(QMF)(Crosier，Estaban和Galand[1976])和共轭正交滤波器(CQF)（Smith和Barnwell[1986])。第3列中的滤波器称为具有正交性，用于后面快速小波变换的开发中(见7.4节)。它们在双正交的基础上更进一步，要求：

(7.1.22)

这对可完美重建的滤波器族定义了正交性。注意，表中第3行G₁(z)的表达式。2K代表各滤波器系数的长度或数目(即滤波器抽头)。可见，G₁与低通综合滤波器G₀的联系在于调制[见式(7.l.5)]、时域反转或奇数平移。此外，H₀和H₁分别是相应综合滤波器G₀和G₁的时域反转。从表7.1的第3列中选取适当的输入，做反Z变换，可得：

(7.1.23)

其中，h₀，h₁，g₀和g₁是定义的正交滤波器的冲激响应，如Smith和Barnwell滤波器(Smith和Barnwell『1984])，Daubechies滤波器(Daubechies[1988])，Vaidyanathan和Hoang滤波器(Vaidyanathan和Hoang[1988])。

表7.1中的一维滤波器也可用于图像处理的二维可分离滤波器。如图7.5所示，可分离滤波器首先应用于某一维(如垂直向)，再应用于另一维(如水平向)。此外，抽样也分两步执行——在第二次滤波前执行一次以减少计算量。滤波后的输出结果，用图7.5中的a(m,n)，d^V(m,n)，d^H(m,n)和d^D(m,n)表示，分别称为近似值、垂直细节、水平细节和图像的对角线细节子带。一个或多个这样的子带可被分为4个更小的子带，并可重复划分。

　

例

图7.6显示了一个8抽头正交滤波器的冲激响应。低通滤波器h₀(n)(0≤n≤7)的系数是-0.01059740,0.03288301，0.03084138，-0.18703481，-0.02798376，0.63088076，0.71484657和O.23037781(Daubechies[1992])；其余正交滤波器的系数可以通过式(7.1.23)计算。注意，图7.6中分析和综合滤波器的交叉调制。用数字计算来说明这些滤波器既是双正变的[满足式(7.1.21)]又是正交的[满足式(7.1.22)]相对容易。此外，它们也满足式(7.1.9)和式(7.1.10)，支持已分解的输入的无误差重建。

图7.7显示了图7.1中花瓶的512 ×512图像基于图7.6中滤波器的4频段分离。该图像的每一个象限都是256×256的一个子带。从左上角开始，按顺时针方向旋转，4个象限分别包括近似子带a，水平细节子带d^H，对角细节子带d^D和垂直细节子带d^V。除了左上角的近似子带，所有子带都经过标定以使其基本结构更为明显。注意d^H和d^V中所表现出的混叠，这是由于对图7.l仅可分辨的窗口进行抽样造成的。根据式(7.1.9).通过综合滤波器g₀(n)和g₁(n)实现的由子带完成的原始图像重建将消除这些混叠。为执行重建，需要图7.5系统的严格镜像滤波器组。在新的滤波器组中，h_i(n)，i={O，1}，被它们的g_i(n)对应部分所取代，并添加了内插器和加法器。

三.哈尔变换 
　

将要了解的第三个和最后一个与多分辨率分析有关的图像处理手段是哈尔变换(Haar[1910])。本章的内容中，其重要性体现在它的基函数是众所周知的最古老也是最简单的正交小波。下述部分将给出若干应用范例。

哈尔变换本身是可分离的，也是对称的，可以用下述矩阵形式表达：

(7.1.24)

其中，F是一个N×N图像矩阵，H是N×N变换矩阵，T是N×N变换的结果。对于哈尔变换，变换矩阵H包含哈尔基函数h_k(z)，它们定义在连续闭区间z∈[O，1]，k=0，1，2，…，N-1，这里N=2ⁿ。为生成H矩阵，定义整数k，即k=2^p+q一1(这里O≤P≤n一1，p=0时，q=0或1，p≠0时，1≤q≤2^p)。可得哈尔基函数为：

(7.l.25)

且

(7.1.26)

N×N哈尔变换矩阵的第i行包含了元素h_i(z)，其中z=O／N，I/N，2／N，…，(N-1)／N。例如，N=4时，k，q和p值如下：

则4×4变换矩阵H₄为：

(7.l.27)

类似地，2×2变换矩阵H₂是：

(7.1.28)

它的基函数仅定义了2抽头FIR滤波器族，可满足表7.1中第一行第一列的QMF滤波器原型的规范。相应QMF分析滤波器h₀(n)和h₁(n)的系数分别是矩阵H₂的第一行和第二行的元素。

　

例7.3 离散小波变换的哈尔函数

图7.8(a)显示了使用式(7.l.25)和式(7.1.26)的哈尔基函数对图7.1的多分辨率分解。与图7.3中的金字塔形结构不同，该表示(被称为离散小波变换，将在本章的后续部分研究)包含了与原始图像同样的像素数。此外.

1.其局部统计数据相对稳定并较易给出模型，见图7.8(a)。

2.其大多数值都接近0，这使它对于图像压缩是一个优秀的候选者。

3.原始图像的粗和细分辨率近似可以从中提取。图7.8(b)到(d)即是从图7.8(a)的子图像重建得来的。

在数据库的应用中，这些特性使得用户能够在搜索时很容易找到图像的低分辨率版本，然后再恢复附加数据以对其进行修饰。

最后，注意到，图7.8(a)与图7.7的子带编码以及图7.3(b)的拉普拉斯金字塔很相似。正如前面的结果，对图7.8(a)的子图像进行标定以使它们的基本结构更明显。图7.8(b)到(d)的近似图像尺寸分别是64× 64，128×128和256×256。对原始图像的512 ×512重建也完全可能。

 

http://met.fzu.edu.cn/dip/c7_1.htm