【高光谱：Pansharpening】

Dynamic Hyperspectral Pansharpening CNNs

（动态高光谱泛锐化CNN）
高光谱（HS）全色锐化寻求将低空间分辨率HS（LRHS）图像与连接的全色（PAN）图像集成以产生高空间分辨率HS（HRHS）图像。传统的泛锐化卷积神经网络（CNN）在固定的网络参数下直接将LRHS和PAN图像映射到HRHS图像，这意味着静态的泛锐化规则。然而，现实世界的HS数据的特点往往是空间变化，直观地说，泛锐化规则应该是动态的。为了解决这个难题，在本文中，我们开发了基于CNN的动态HS 泛锐化。然后，我们提出了一个面向学习的pansharpening CNN范式，其目的是学习如何学习规则以产生空间自适应pansharpening规则，包括初步融合，场景敏感调制和光谱重建三个阶段。最后，遵循该范例，我们设计了两组动态泛锐化CNN（DyPNN），即，基于内部连接和基于外部连接。它们涉及各种空间调制，包括空间仿射变换（AT）、空间动态卷积（DC）或改进的空间注意力（SA），并且因此由六个特定的DyPNN组成：IC-AT-DyPNN、IC-DC-DyPNN、IC-SA-DyPNN、EC-AT-DyPNN、EC-DC-DyPNN和EC-SADyPNN。

INTRODUCTION

在光学遥感系统的设计中，主要考虑的因素之一是空间分辨率、光谱分辨率和信噪比（SNR）之间的平衡。通常，光谱成像系统能够密集地采样从可见光到近红外光的许多窄光谱带，产生具有丰富光谱信息的高光谱（HS）数据，然而，这往往会降低空间分辨率。相比之下，全色（PAN）成像系统可以提供具有高空间分辨率的单波段图像。为了适应许多实际遥感应用中对全分辨率数据的要求，例如分类和目标检测，一种可能的方法是从低空间分辨率HS（LRHS）图像和连接的PAN图像重建具有高空间和高光谱分辨率的高空间分辨率HS（HRHS）图像。该过程通常被称为HS全色锐化。
在过去的十年中，已经为HS pansharpening设计了各种算法，其中一些可以大致归因于组件替换（CS），多分辨率分析（MRA），变分优化（VO）和卷积神经网络（CNN）的类别。CS和MRA主要扩展为经典的多光谱泛锐化方法。前者通常将数据转换到执行空间分量替换的特定域中，其典型实例包括强度-色调-饱和度（IHS），主成分分析（PCA）和Gram-Schmidt（GS）。后者提取PAN数据的空间细节，并通过多分辨率分解将其注入LRHS数据，其中基于平滑滤波器的强度调制（SFIM），小波变换和调制传递函数广义拉普拉斯金字塔（MTF-GLP）。基于VO的方法尝试使用变分理论来重建泛锐化图像，这通常涉及不适定逆来制定泛锐化。此外，贝叶斯估计和矩阵分解也可以被视为基于VO的实例。
事实上，HS全色锐化必须处理相对于经典全色锐化的一些特殊的挑战性问题，例如，与PAN图像相比，HS图像的更宽的光谱覆盖，以及以高光谱分辨率重建许多连续的光谱带。CNN已被证明是有用的，以处理这些问题。Zheng等人专注于泛锐化图像和LRHS图像之间的残留CNN结构，降低了学习难度。Xie等人结合了CNN和基于VO的方法学习的额外先验。He等人总结了一般的CNN泛锐化框架，并提出了频谱预测结构和频谱保真度网络。
作为基于学习的方法，HS全色锐化CNN的实际实现通常包括两个连续阶段：降低分辨率训练和全分辨率全色锐化，尽管全分辨率训练作为额外的考虑可能是可行的。在分辨率降低的训练阶段，观察到的HS和PAN图像都经历降级以生成分辨率降低的数据，然后，利用这些数据学习CNN模型。在全色锐化阶段，在规定学习模型的尺度不变性的情况下，在该训练的CNN模型下整合即将到来的HS和PAN图像，以推断期望的全分辨率HS数据。虽然基于CNN的方法在HS全色锐化方面取得了显着的改进，但直观地说，它们忽略了对所观察到的场景中的空间变化的考虑，这些空间变化可能提供更好的性能。空间变化意味着HS像素的光谱特性在自然场景中在空间上变化，并且合理地，全色锐化应该是空间动态的以跟随此变化。更具体地说，空间变化可归因于两个主要方面：视内和视间。视内变化是指在所观察的场景内的空间变化，而视间变化是指跨不同场景的空间变化。大多数传统的泛锐化CNN没有明确考虑到这些空间变化。首先，CNN特性，例如权重共享，即，在各种空间位置之间共享的核参数通常被使用。这意味着CNN内核将被迫满足观察到的场景的全局特性，并且直观地可能与位置特定的内部变化的考虑不一致。毫无疑问，如果这些权重共享CNN足够深，具有许多内核和权重，并且使用大量且具有代表性的训练数据进行训练，它们就真的有潜力适应空间变化。然而，在HS全色锐化的实际应用中可用的训练数据通常相当有限。在这种情况下，我们可能不得不求助于空间动态网络，其结构设计专门针对空间变化，以减少对训练数据的要求。其次，训练阶段和全色锐化阶段中涉及的数据通常是不同的;也就是说，训练场景和全色锐化场景不同。当我们使用在训练阶段获得的CNN模型来增强泛锐化场景中的数据时，可能存在由场景间空间变化带来的差异。
为了解决上述空间变化问题，我们在本文中开发了动态泛锐化CNN（DyPNNs），它能够执行空间自适应调整。更具体地说，我们的创新工作和贡献可以确定如下：
1) Concepts of Dynamic Pansharpening and Static Pansharpening:
我们明确规定的概念，动态pansharpening和静态pansharpening。静态全色锐化在全色锐化过程中保持固定的全色锐化规则，而动态全色锐化能够根据空间变化自调整全色锐化规则。
2）Paradigm of Learn-to-Learn-Oriented DyPNN:
所提出的范例能够指导特定DyPNN的设计。在该范例中，从训练数据中学习如何学习规则，然后根据新输入数据的空间变化来自动调整全色锐化规则。我们给予了该范例的基本CNN公式，然后指出DyPNN可以由三个连续的阶段组成：初步融合、场景敏感调制和光谱重建。
3) Internal Connection-Based DyPNNs (IC-DyPNNs):
遵循上述范例，我们设计了这组DyPNN。在它们的场景敏感调制阶段，多个场景敏感模块串行化，通过内部连接自适应地调整特征；也就是说，在每个场景敏感模块中，局部动态分支的输入（即，学习到学习子网）是专门来自主干线内部的。该组包含三个特定的CNN，包括仿射变换IC-DyPNN（IC-AT-DyPNN）、动态卷积IC-DyPNN（IC-DC-DyPNN）和空间注意力IC-DyPNN（IC-SA-DyPNN）。
4) External Connection-Based DyPNNs (EC-DyPNNs):
这些CNN组也是通过遵循所提出的学习-学习范式来设计的。在EC-DyPNN的每个场景敏感模块中，主干还伴随有本地动态分支（即，学习-学习子网络），但是动态分支从主干线外部输入数据。该组还包含三种特定的CNN，包括EC-AT-DyPNN、动态卷积EC-DyPNN（EC-DC-DyPNN）和EC-SA-DyPNN。

DYNAMIC PANSHARPENING

我们工作的动机源于对自然场景上HS像素的光谱特性在空间上变化的直观观察。这样的空间变化，包括场景内变化和场景间变化，是大多数现有的基于CNN的全色锐化方法未能明确考虑的。
我们的工作旨在开发创新的DyPNNs来科普空间变化问题。在本节中，我们首先指定动态泛锐化和静态泛锐化的概念，特别是面向学习的动态泛锐化范例。然后，详细描述了基于CNN的动态全色锐化的基本公式。为了清楚地描述，下文中使用的主要符号在术语中列出。

Static Pansharpening and Dynamic Pansharpening

在这里，我们指定的静态全色锐化和动态全色锐化的概念，这在以前的文献中没有明确提到。
1) Static Pansharpening: 通过静态规则进行全色锐化，该静态规则在全色锐化过程中不会改变或调整。如图1（左）所示，在静态全色锐化规则下，从输入数据到全色锐化数据的映射是全局固定的，而不管任何空间变化。
2) Dynamic Pansharpening: 通过动态全色锐化规则进行全色锐化，该动态全色锐化规则可以遵循所处理数据的空间变化。与静态全色锐化相比，动态全色锐化提供了随空间变化而变化的全色锐化映射，如图1（右）所示。
在我们的工作中，我们使用学习到学习策略来构建DyPNN中所需的动态映射。在我们的CNN设计中，Learn-to-learn意味着学习如何学习pansharpening。更具体地，其旨在学习如何生成动态全色锐化模型/规则，即，学习如何学习规则以产生对新数据空间自适应的全色锐化规则。如图1（右）所示，在我们的动态pansharpening中，首先通过学习到学习过程来训练如何学习规则，该过程建立了从输入数据到pansharpening规则的映射。一旦确定了如何学习规则，就可以将其应用于即将到来的数据，并且该数据将驱动如何学习规则以产生在空间上适应于该数据的动态全色锐化规则。相比之下，正常的静态泛锐化CNN首先训练一个泛锐化模型，然后，该模型直接用作泛锐化阶段的泛锐化规则，以推断最终的泛锐化结果。
在下文中，我们提出了受上述动态全色锐化线程启发的CNN公式

CNN Formulations of Dynamic Pansharpening

通常，pansharpening CNN方法是基于学习的，其实际实现分为两个连续阶段：训练阶段和全色锐化阶段，其可以公式化如下：
其中Φ（·）表示从输入数据（预内插的LRHS图像+ PAN图像）到具有CNN参数θ的全分辨率图像的CNN全色锐化映射，并且L表示训练阶段中的全色锐化损失，其对全色锐化的全分辨率图像和参考的地面实况之间的差异施加约束。用于正常全色锐化CNN的（1）和（2）的公式可以在图2(a)中图示。如图2(a)所示，在训练阶段学习全色锐化模型/规则${\theta }^{opt}$。在随后的全色锐化阶段期间，将学习到的全色锐化规则${\theta }^{opt}$应用于传入数据以推断最终HRHS图像。也就是说，全色锐化CNN模型在全色锐化过程期间是静态的。
与正常HS全色锐化相比，动态HS全色锐化以学习到学习的方式工作，以能够处理空间变化，并且因此可以具有如下数学表示：

公式化DyPNN的等式（3）和（4）可以在图2(b)中图形地示出。如图2(b)所示，一旦在训练阶段学习到学习子网络的参数θ_s，就确定了如何学习规则${\theta }^{opt}$_s。然后，在随后的全色锐化阶段中，空间变化的数据将驱动学习到学习子网络以产生空间变化的全色锐化规则θ_l，其与学习的主干参数${\theta }^{opt}$_g协作以对即将到来的数据执行，以便完成最终的全色锐化。

TWO GROUPS OF DYNAMIC PANSHARPENING CNNS

第一组包括三个IC-DyPNN：空间IC-AT-DyPNN、空间IC-DC-DyPNN和改进的IC-SA-DyPNN，而第二组由三种EC-DyPNN组成：EC-AT-DyPNN、EC-DC-DyPNN和EC-SA-DyPNN。图3图示了构成我们的DyPNN的三个主要阶段：初步融合，其负责粗数据预积分，场景敏感调制，其使中间数据自适应地跟随空间变化，和频谱重建，其强制最终数据与频谱保真度。
1) Preliminary Fusion:
大多数现有的泛锐化CNN输入PAN图像作为上采样的LRHS图像的附加频带，然后平等地对待每个频带。然而，由于PAN图像和LRHS图像的特性显著不同，因此这种方式可能无法完全提取这两个图像中的信息。一种解决方案是分别处理PAN图像和LRHS图像，然而，这忽略了这两个图像之间的固有连接。为了解决这个问题，我们在这里构建了一个DGRM模块，以折衷的方式提取PAN和LRHS图像的特征，该模块引入了门控递归单元（GRU），用于通过门控机制进行信息交互。


如图4所示。在图4中，DGRM建立在堆叠若干GRU单元的基础上，每个GRU单元旨在通过融合当前输入和先前隐藏状态来更新当前隐藏状态，其中两个门控信号指示它们的比率。更具体地，GRU单元将步骤t-1处的先前隐藏状态h_t-1与步骤t处的当前输入x_t组合以首先产生光栅信号u和v。随后，这两个光栅信号将被施加以通过重新加权来控制信息流以更新当前隐藏状态h_t。数学模型可以用公式表示如下：

DGRM由两个分支组成。一个分支将PAN图像作为其输入;另一分支将LRHS图像作为其输入。PAN和LRHS分支中的第一层GRU的输出被设计为交叉连接到第二层GRU，以用作它们先前的隐藏状态，以执行两个分支之间的交互，如图4中的DGRM结构所示。以这种方式，PAN分支和LRHS分支在DGRM特征提取期间彼此引导：PAN图像中的空间细节可以指导LRHS分支的细节特征提取，而LRHS图像中的全局对象轮廓可以有助于定位PAN图像中的全局特征。
2) Scene-Sensitive Modulation:
在我们的IC-DyPNNs中，这个阶段执行空间自适应调整的核心功能，在内部连接的方式。如图4所示，它由一系列场景敏感模块组成。每个场景敏感模块检测其输入的空间变化，并相应地沿着光谱维度调谐其输出。多个场景敏感模块的级联调谐实现了有效的空间调制。
每个场景敏感模块包括主干和动态分支。动态分支使用多尺度膨胀卷积块（MSDB）作为学习到学习子网络来执行。也就是说，一旦利用训练过程确定MSDB的权重参数，则获得用于生成动态参数的规则，该动态参数在空间上自适应于其输入数据。在场景敏感模块的主干中，采用卷积块（CBlock）来实现具有多个卷积层的特征提取。然后，从主干提取的特征图被输入到调制操作单元，以利用来自MSDB的动态参数进行处理，从而实现空间调制或调整。在我们的设计中，可以以三种方式执行调制操作：空间AT、空间动态卷积（DC）和改进的SA，它们与我们的三种特定的IC-DyPNN方法相关联：IC-AT-DyPNN、IC-DC-DyPNN和IC-SA-DyPNN。值得注意的是，动态分支用作学习到学习子网络，以产生对其输入数据敏感的动态参数。动态参数的这种数据依赖性与分支的特征提取能力相关联，即，如何充分捕捉场景特征。由于场景中可能存在具有不同空间结构的各种地物，因此需要覆盖多个尺度的感受野来增强这种特征提取能力。膨胀卷积被引入用于我们的MSDB的设计。如图4中的结构所示。MSDB将输入的特征映射转换成三条路径，每条路径由几个连续的膨胀卷积层组成。注意，不同路径中的膨胀卷积层具有不同的膨胀率，并且每个膨胀卷积层采用交叉特征图（即，特征图来自所有上部路径）作为其输入。因此，多尺度感受野是通过跨越不同的途径来实现的。根据经验，这三条路径的膨胀率可以分别设置为1、2和3，卷积核可以具有3× 3的大小;因此，MSDB可以覆盖7 × 7-19 × 19的感受野范围。
如上所述，在利用动态分支获得动态参数之后，可以通过合适的调制操作单元G(·)来完成主干中的特征图的空间调制。G(·)可以被设置为如（6）中的G_AT(·)、如（7）中的G_DC(·)或如（8）中的G_SA(·)。
a) Spatial affine transform: 可以用于设计调制操作单元G（·）的机制是空间AT，其最初被提出用于通过仿射变换将语义概率图变换为目标特征图，其中语义分类先验被用于有区别地恢复纹理。在我们的设计中，空间AT过程的数学表示具有以下形式

因此，调制参数γ和β从具有映射MAT的动态分支的输入细化语义信息。（6）中的仿射变换是空间方面的。通过这种方式，空间AT提供了一种通过缩放和移位特征图来根据其语义先验调制每个像素的方式。
b) Spatial dynamic convolution: DC，我们也可以用于学习到学习设计，自适应地对相关输入应用卷积核条件，这与标准卷积不同，其中内核的权重是固定的。在我们的空间DC的设计中，内核在中间特征图上是位置特定的。对于特征图F的每个位置（i，j），DC可以公式化如下：
其中 * 表示卷积运算，并且δ_i,j是在位置（i，j）处用映射M_DC(·)生成的DC核，其中动态分支用作滤波器生成网络。与仅对每个像素起作用的空间AT不同，空间DC考虑像素邻居。
c) Improved spatial attention: SA探索如何选择性地关注数据的空间重要或突出部分[38]。在我们改进的SA的设计中，动态分支MSDB（即，学习到学习子网络）充当SA模块以产生SA图，并且然后，特征图被用于调整从主干输出的中间特征图，这不同于原始SA，在原始SA中，由注意力模块产生的注意力图被用于直接调整注意力模块的输入。我们的改进SA可以被公式化如下：
SA图α的值在0和1之间，其可以被认为是指示每个空间位置的重要性的概率图。当乘以α时，F中的重要位置将被突出显示，而那些不重要的位置将被抑制。从学习到学习策略的角度来看，SA为每个像素分配基于输入的权重因子，以根据其自身的特性来调整其对输出的影响。
3) Spectral Reconstruction: 在场景敏感调制阶段之后，涉及频谱重建阶段以在频谱上重新缩放特征图并加强最终全色锐化结果的频谱保真度。光谱重建阶段包含两个连续的卷积层，并在细节注入框架内生成最终的泛锐化图像
通过这种方式，IC-DyPNNs只需要重建目标泛锐化图像的空间细节，而不是整个图像，减轻了图像恢复的难度。

EC-DyPNNs

除了IC-DyPNN组之外，在本节中，我们开发了一组EC-DyPNN。与IC-DyPNN相比，动态分支（即，学习到学习子网络）将来自主干外部的数据输入EC-DyPNN的每个场景敏感模块中。
图5示出了所提出的EC-DyPNN的整体架构。如图所示，该架构类似于IC-DyPNN的架构，IC-DyPNN也由三个顺序级组成。在初步融合阶段，输入PAN和LRHS图像合并的建议DGRM的装置，获得初步的融合数据。场景敏感调制阶段以在IC-DyPNN中使用的场景敏感模块开始，但随后是连续的重新设计的场景敏感模块。与IC-DyPNNs中那些相互独立的模块不同，EC-DyPNNs中重新设计的场景敏感模块通过捷径连接将先前具有各种尺度的多个场景特征作为动态分支的输入。在这里，应用两个卷积层来聚合这些特征，然后将它们馈送到MSDB中。以这种方式，多尺度场景信息可以逐渐累积在动态分支中，并且因此，可以获得用于后续空间调制的更多动态参数。还可以利用IC-DyPNN中使用的三种空间调制模式，包括G_AT(·)、G_DC(·)和G_SA(·)，来利用来自动态分支的动态参数来调谐主干，从而形成三种特定的EC-DyPNN：EC-AT-DyPNN、EC-DC-DyPNN和EC-SA-DyPNN。在场景敏感调制阶段中产生空间调制特征之后，为了重新缩放谱带并增强最终全色锐化结果的谱恢复的目的，执行谱重建阶段。

Summary

按照我们的学习到学习的动态泛锐化范例，我们通过内部连接或外部连接构建了几个特定的DyPNN，同时使用三个特定的调制操作：空间AT、空间DC或改进的SA，以解决频谱变化。在每个DyPNN中，场景敏感模块的动态分支充当学习子网络，将其输入数据映射到动态参数，其表示动态全色锐化规则。一旦在训练阶段学习了动态分支的参数（即，如何学习规则被确定），它可以在全色锐化阶段中应用于即将到来的数据，并且该数据将驱动如何学习规则以产生位置特定的动态调制参数。然后，使用动态参数来空间调制所连接的主干。以这种方式，减轻了内部变化问题。场景间变化问题可以基于场景内变化问题来考虑。场景间变化是场景差异的问题，实际上是用训练好的模型对一组新的像素进行泛锐化。如上所述，在学习到学习机制下，全色锐化规则对于全色锐化阶段中的输入数据是位置特定的，这意味着新场景将导致全色锐化规则的自动空间调整。