图像融合中多尺度变换方法总结（上）

多尺度分析方法

多尺度分析（Multiscale-Analysisi），又被称为多分辨率分析，基本思想是把平方可积空间分解为一串具有不同分辨率的子空间序列。多分辨率或多尺度分析的基本思想：函数f（x），可以看作是某个渐渐逼近的极限，每层逼近是采用某个低通滤波函数对f（x）实施平滑后的结果。当逐层逼近的低通滤波函数也进行相应地逐层伸缩，即采用不同的分辨率或尺度来逐层逼近f（x）。

多尺度变换是一种公认的有力工具，已被证明对图像融合和其他图像处理任务非常有效。图1-1给出了基于普通多尺度变换的图像融合方法示意图。首先，使用多尺度变换来获得输入图像的多尺度表示，其中图像特征在联合空间频率域中表示。然后，通过根据特定的规则融合不同图像的多尺度系数来获得融合的多尺度系数,这通常会考虑系数的活跃度和相邻像素或者不同尺度像素之间的相关性。最后，通过对融合的表示系数进行多尺度逆变换获得融合图像。这种图像融合框架涉及两个基本问题,即多尺度分解方法的选择和用于多尺度系数融合的融合策略。一直以来，许多研究者不断尝试解决这两个问题。

多尺度分解方法

金字塔变换是一-种常用的多尺度分解方法，金字塔变换的最高层是由低分辨率表示的图像，而其他各层是每- -尺度图像的高分辨率表示。图像的金字塔变换能对图像中近似特征和细节特征进行分析，例如，可以使用低分辨率图像分析图像的近似特征，使用高分辨率图像来分析图像细节特征。换句话说，根据不同的尺度和不同的分辨率，不同分解层上包含图像不同的特征信息。
（1）拉普拉斯金字塔变换
如图给出了三层拉普拉斯分解结构图。

图像的拉普拉斯金字塔是由图像的高斯金字塔两层做差得到的。为了使两层能够相减，需要将低分辨率图像Xk进行差值放大到与高分辨率图像Xk-1-样的尺寸。在像素之间插入的新像素是由原始像素灰度值的加权平均确定的。这时，金字塔第k层被扩充图像与k-1层图像之间的差异得到拉普拉斯金字塔的第k-1层。Xk是由Xk-1经过低通滤波并进行下采样得到的，细节特征信息要明显少于Xk-1，图像的拉普拉斯金字塔由LP,LP1,…LPn构成，是同一层高斯金字塔图像和前–层图像之间相减得到的，拉普拉斯金字塔也可以称为带通塔分解。拉普拉斯金字塔的分解可以总结为四个步骤:低通滤波，下采样，插值和带通滤波。
（2）对比度金字塔
对比度金字塔也是以高斯金字塔变换为基础的。与拉普拉斯金字塔变换基本相同，对比度金字塔的分解也包括低通滤波，下采样和差值，第四步采用对比的方式进行处理。与拉普拉斯金字塔原理相同，金字塔第k层被扩充图像与k-1层图像之间的比值得到对比度金字塔的第k-1层。将图2.2中的减号换作除号则为对比度金字塔分解结构。
小波变换是现代信号处理和分析的强有力工具，如图表示二层小波分解的塔型结构示意图。图2.3中的L、H分别表示表示小波分解的高低频信息，分解层数由1、2进行表示。在第一分解层上，小波变换将图像分解为LL1、HL1、LH1、HH1四个频带;下一层仅对低频分量LLI进行分解。其中四个频带是原图像与–个小波基函数的内积后再通过行、列方向的2倍间隔采样形成的。
图像由小波分解为近似图像和细节图像，小波变换是在两个相互垂直的空间频率对图像进行分解，可以在提取图像扫频信息的同时提取三个方向的高频边缘细节。

**双树复小波变换：**小波变换由于信号移位所产生的移变性以及方向的局限性，提出了复小波构思。使用两个相互平行的小波树(树a和树b),分别作用于图像的行和列，将树a输出的结果作为复小波的实部，将树b的输出结果作为复小波的虚部，从而产生一种双树结构，需要保证两树的滤波器之间恰好有一个采样间隔的延迟，以保证树b在下采样的时候可以取到树a下采样舍弃到的点。下图为双树复小波变换分解示意图。

曲波变换可以很好地表示图像中具有各向异性的边缘特征，综合了脊波变换可以很好的描述图像的直线特征和小波变换适合表现点状特征的优点，图像的边缘信息可以用较少的非零系数准确且精确地表示图像的曲线奇异特征。曲波变换后的非零系数点集中了图像的大部分信息，并且能量更集中，这有利于分析图像的边缘，纹理和其他重要特征。曲波变换本质上是一种多尺度局部脊波变换，先将信号通过小波变换分解成–系列不同尺度的子带信号，再对每个子带使用局部脊波变换。曲波变换的融合过程如下图所示。

非下采样轮廓波变换：在轮廓波变换的基础上进行改进提出了基于NSCT变换的图像融合方法。NSCT变换采用非下采样金字塔滤波器组(nonsubsampled pyramid filter bank,NSPFB)实现图像多尺度分解和非下采样方向滤波器组(nonsubsampled direction filter bank, NSDFB)实现图像的多方向分解。图像经过多尺度分解后生成低通子带和带通子带图像，其中NSDFB是作用于带通子代图像的。图像的多层子带分解是对每–层的低通子带图像进行上述操作得到的。NSCT变换与轮廓波变换相比在图像的分解和重构过程中并没有经过下采样操作，因此保证了NSCT变换的平移不变性，解决了伪吉布斯现象。NSCT变换分解示意图如图2.6所示。

非下采样剪切波变换：NSST变换是在剪切波变换的基础上进行改进，与NSCT变换相似，NSST使用非下采样拉普拉斯金字塔滤波器组(nonsubsampled pyramid filter bank,NSPFB)来实现多尺度分解和剪切波滤波器来实现多方向分解。首先对图像经过多尺度分解生成低通子带和带通子带图像。再用NSPFB对每一低通子带图像进行迭代以获取图像的分解层。NSST变换与剪切波变换相比在图像的分解和重构过程中没有经过下采样操作，因此NSST变换具有平移不变性。然后利用剪切波滤波器将带通子带图像分解为多个方向的带通子带图像，实现图像的多方向分解。

本节内容介绍了七种多尺度变换的分解结构，有利于下文对不同多尺度变换方法的特点以及多尺度变换方法的图像融合提供理论基础。