【多尺度多蒸馏扩张泛锐化】

MMDN: Multi-Scale and Multi-Distillation Dilated Network for Pansharpening

(MMDN：多尺度多蒸馏扩张泛锐化网络)

全色锐化是一项涉及遥感图像信息集成和处理的技术。将低空间分辨率的多光谱图像与全色图像进行有效融合，生成高分辨率的多光谱图像。在本文中，我们提出了一种端到端的多尺度多蒸馏扩张网络(MMDN)来进行泛锐化。在MMDN中，为了从源图像中提取更丰富的空间细节，提出了一种基于clique构的多尺度扩张块（CSMDB）。CSMDB中的clique结构可以充分传递多尺度扩张卷积滤波器获得的特征图之间的信息。然后，一个多蒸馏残留信息块（MRIB）的构建，以帮助网络捕捉不同尺度的空间结构的MS和PAN图像。最后，为了重用和补充特征信息，设计了一种特征嵌入策略，将级联CSMDB的输出结果与浅层特征的和反馈给每个MRIB。

INTRODUCTION

目前，大多数遥感应用功能（例如，分割、分类和目标检测）需要许多高空间和光谱分辨率的图像。然而，由于许多物理限制，使用单个传感器难以捕获令人满意的遥感图像。为了解决这一问题，许多卫星，如Pléiades、IKONOS和WorldView-3，提供两种不同类型的图像：高空间分辨率全色图像和低空间分辨率多光谱图像。这两种类型的图像被融合以获得新的高分辨率MS（HRMS）图像，该过程称为全色锐化。
在过去的几十年中，已经开发了各种泛锐化方法，这些方法主要可以分为四类：基于分量替换（CS）的方法，基于多分辨率分析（MRA）的方法，基于模型的方法和基于深度学习（DL）的方法。基于CS的方法主要通过用PAN图像的分量替换MS图像的分量来实现;它们包括强度-色调-饱和度（IHS）、部分替换自适应CS（PRACS）和频带相关空间细节（BDSD）方法。然而，由于MS和PAN图像的光谱范围之间的不匹配，这些方法可能产生光谱失真。
在基于MRA的方法中，首先使用多分辨率分解技术从PAN图像中提取空间细节，然后注入到上采样的MS图像中。主流的基于MRA的方法包括基于拉普拉斯金字塔（LP）的方法、基于小波的方法和基于非下采样Shearlet变换（NSST）的方法。Vivone等人提出了一种广义LP（GLP），采用基于调制传递函数（MTF）匹配滤波器回归的泛锐化方法来估计全尺度下的注入系数。Yang等人提出了一种基于抠图模型和多尺度变换的泛锐化新框架，以获得高质量的融合图像。Wang等人提出了一种基于NSST和隐马尔可夫森林模型的泛锐化方法，其中在光谱和空间方向上探索源图像的统计特性。与基于CS的方法相比，基于MRA的方法在光谱信息的保真度上更好。然而，通过这些方法获得的融合图像可能会表现出空间失真，例如混叠和局部不相似性。
在最近发表的文献中，提出了许多基于模型的泛锐化方法，这些方法通过构建和最小化具有一些先验假设的能量函数来获得HRMS图像。基于模型的方法主要包括基于稀疏表示的方法、变分方法和基于贝叶斯模型的方法。Ghahremani等人提出了一种基于稀疏表示的泛锐化方法，该方法学习一个新的字典，并通过使用交替方向乘法器方法（ADMM）来寻找稀疏系数。Lu等人提出了一种用于泛锐化的变分方法，该方法采用光谱保真度和细节校正约束来细化泛锐化图像中的光谱信息和空间细节。Wang等人提出了一种基于贝叶斯的泛锐化方法，该方法根据几个假设建立后验概率模型，然后用ADMM求解。虽然基于模型的方法可以获得令人满意的泛锐化结果，但它们通常比其他泛锐化方法消耗更多的计算时间。
近年来，深度学习在图像处理、计算机视觉等领域得到了广泛的应用，并取得了令人瞩目的成果。许多基于DL的全色锐化方法已经被开发并不断改进。Huang等人首先提出了一种基于深度神经网络（DNN）的泛锐化方法，用于从低分辨率MS（LRMS）和PAN图像生成HRMS图像。Masi等人修改了一种基于卷积神经网络（CNN）的三层架构，最初是为了超分辨率而提出的，以解决泛锐化问题。为了提高MS泛锐化的准确性，Wei等人构建了一个深度残差泛锐化神经网络（DRPNN）。Yang等人设计了一个端到端的深度残差网络，即PanNet，它可以自动从遥感图像中学习映射。Yuan等人开发了一种多尺度和多深度CNN（MSDCNN），通过不同大小的卷积核捕获多尺度信息。Zhang等人提出了一种基于双向金字塔网络（BDPN）的泛锐化方法，该方法主要由两个分支组成，用于细节提取和重建。Liu等人提出了一种双流泛锐化网络，由三个部分组成：特征提取，特征融合和图像重建。Deng等人使用深度CNN和基于CS和MRA的传统方法构建了两个泛锐化框架，分别称为CS-Net和MRA-Net。受这两个框架的启发，他们提出了Fusion-Net，以在降低分辨率（RR）和全分辨率（FR）下实现更好的性能。Ozcelik等人提出了一种基于生成对抗网络（GAN）的泛锐化方法，称为PanColorGAN，它可以通过对PAN或灰度变换的MS图像进行着色来生成具有高光谱和高空间分辨率的结果。然而，上述基于DL的方法通常忽略了不同级别的特征图之间交互传递的多尺度特征信息的补充，并且不考虑多尺度特征之间的残差（差异）信息。这些缺陷可能导致重要特征信息的丢失。
为了更好地利用多尺度信息，在本文中，我们提出了一种新的多尺度和多蒸馏扩张CNN来集成MS和PAN图像。为了有效地提取不同尺度的特征，改善网络的信息流，我们使用多尺度扩张卷积构造了两个不同的子网络。一个子网络包含一系列具有clique结构的多尺度扩张块，它可以更准确地捕获各种尺度的空间特征，并改善网络中的信息流。第二个子网络主要由多个串联的多蒸馏残差信息块（MRIB）组成，可以进一步增强更精细的空间细节。此外，提出了一种有效的特征嵌入策略，以整合上述两个子网络捕获的特征信息。

贡献

1）提出了一种新的端到端多尺度多蒸馏扩张网络（MMDN）来提高泛锐化的精度。
2）为了有效地提取多尺度空间信息，并通过特征间的交互传输改善信息流，构造了一种基于团结构的多尺度扩张块（CSMDB）。
3）设计了一种MRIB结构，通过提取不同尺度之间的残差特征，进一步提高了捕捉空间细节的能力。
4）提出了一种特征嵌入策略，通过将级联的CSMDB输出与每个MRIB中的浅特征一起嵌入，提高了特征信息的重用和补充。

PROPOSED METHOD

提出的MMDN，它由三个模块组成，如图1所示：图像预处理，特征提取和图像重建。

Image Preprocessing Module

由于PAN图像的大小是MS图像的四倍，因此必须将其调整为相同大小以允许融合。然而，如果直接在PAN图像的空间大小中执行特征提取，则网络计算量相对较大。因此，为了减少计算量并确保PAN图像的特征完整性，所提出的网络在PAN图像的一半空间大小中提取和融合特征。
图像预处理模块主要用于调整图像的大小和提取图像的浅层特征。在该模块中，PAN图像缩小两倍，MS图像放大两倍。两个相同大小的图像的波段被连接并发送到3×3卷积层和ReLU函数，通过该函数提取浅特征图F。该过程可以表示为
其中，I表示通过堆叠MS和PAN图像获得的特征图，↑₂和↓₂分别表示缩放因子为2的上采样和下采样算子，concat（·）表示用于堆叠多个张量的级联操作，C_3×3表示大小为3×3的卷积核组，⊕表示卷积运算，ReLU（·）表示ReLU激活函数。

Feature Exaction Module

特征提取模块包括特征提取和融合两个分支，如图1的中间部分所示。为了提取更丰富的细节和结构信息，设计了不同膨胀率的膨胀卷积层，以获得包含不同尺度信息的特征图。此外，考虑到这些特征图之间的差异，团结构，以改善信息流和补充的特征图之间的信息。因此，我们设计了基于膨胀卷积层和团结构的CSMDB。为了提取不同尺度的特征，实现不同尺度的信息补充，在第一个分支设计了级联的CSMDB结构。浅特征图F通过包含五个CSMDB的该分支，由此生成具有更多空间信息的一组特征图~ F₀。这个过程可以表示为：
CSMDB的结构如图2所示。为了避免提取不同尺度特征时的特征丢失问题，首先设计具有不同膨胀率的三个膨胀卷积层作为CSMDB的一部分，以获得具有不同尺度空间信息的特征图IFⁱ_j（j = 1，2，3）。

接着，所获得的特征图通过团结构彼此交互，以改善信息流并补充特征图之间的信息。然后，IFⁱ_j（j = 1，2，3）被连接并被送入 1 × 1卷积层和ReLU激活函数。最后，将所得结果与CSMDB $F^{i-1}$₀的输入进行积分，以产生$F^i$₀的输出。算法1描述了CSMDBs的计算过程。
现有的具有多尺度结构的深度网络直接使用特征进行特征映射，不能充分利用不同尺度之间的空间信息。为了获取更多的空间细节，增强特征图的细节信息，提出了通过提取不同尺度之间的残差特征的MRIB。因此，在第二分支中构造级联的MRIBs结构，该结构可以提取不同尺度的残差信息来补充图像的结构信息。类似地，浅层特征图F和通过公式（4）获得的特征图~ F₀被发送到包含五个MRIB的该分支，由此生成具有更多残差信息的特征图~ F₁。这个过程可以定义为：

MRIB的结构如图3所示。由于不同尺度的特征图在空间信息上存在差异，因此构造了一种逐层提取不同尺度间残差信息的MRIB。此外，通过级联CSMDB输出之和的嵌入信息与浅层特征的级联，获得的残差信息可以提高特征提取模块的特征提取能力。算法2描述了MRIB的计算过程。

最后，为了更好地融合两个分支学习到的特征，设计了一种特征嵌入策略，将特征图~ F₀与每个MRIB中的残差信息相结合。在特征提取模块的最后部分中，通过逐元素求和操作来整合从两个分支提取的特征图~ F₀和~ F₁，并且使用子像素卷积层来将特征图的尺寸放大到PAN图像的尺寸。因此，通过下式获得集成特征图HF：

Image Reconstruction Module

图像重建模块的目的是通过合并PAN和MS图像的浅层结构特征和深层语义特征HF来生成HRMS图像，如图1的右侧所示。
为此，我们首先分别使用公式（8）和（9）提取两个浅特征图PF和MF

接下来，通过级联操作将提取的PF与HF合并，并且通过逐元素求和操作将提取的MF集成到网络中。这些操作可以表示为：

最后，通过执行一组大小为1 × 1的卷积核和Tanh激活函数，从特征映射HPMF重建HRMS图像。