【论文阅读】Hybrid-Scale Self-Similarity Exploitation for Remote Sensing Image Super-Resolution

---

论文地址

1、论文
2、源码

---

对于遥感图像内部有很多相似的物体，利用自身相似性，来对于SR进行改进

摘要

最近，深度卷积神经网络 (CNN) 在遥感图像超分辨率 (SR) 方面取得了很大进展。基于 CNN 的方法可以从大量低分辨率和高分辨率对应物中学习强大的特征表示。对于遥感图像，在图像本身内部会重复出现许多相似的地面目标，无论是在同一比例尺内还是在不同比例尺之间。在本文中，我们认为这种内部递归可用于学习更强的特征表示，并且我们提出了一种新的用于遥感图像 SR 的混合尺度自相似利用网络 (HSENet)。具体来说，我们引入了一个单尺度自相似利用模块 (SSEM) 来计算同一尺度图像内的特征相关性。此外，我们设计了一个跨尺度连接结构（CCS）来捕捉不同尺度的重复。通过结合 SSEM 和 CCS，我们进一步开发了一个混合尺度自相似性开发模块 (HSEM) 来构建最终的 HSENet，它同时利用单尺度和跨尺度相似性。实验结果表明，HSENet 可以获得优于几种最先进方法的性能。此外，我们的方法的有效性也通过对遥感场景分类任务的辅助来验证。索引术语——深度卷积神经网络（CNNs），遥感图像，自相似性，超分辨率（SR）。

I. 简介

超分辨率 （SR） 旨在从给定的低分辨率 （LR） 图像或一系列 LR 帧中恢复高分辨率 （HR） 图像。SR技术广泛应用于医学成像[1]，[2]，视频监控[3]，[4]，和遥感处理[5]、[6]。在遥感领域，高空间分辨率图像往往在目标检测[7]、变化检测[8]、场景标注[9]等许多应用中发挥着关键作用，因此，对高分辨率图像的追求从未停止. SR 技术不是在遥感卫星上开发物理成像设备，而是另一种获取 HR 遥感图像的有效方法 [10]-[12]。

单幅图像的 SR 是一个非常典型的病态问题，其中图像先验通常用于限制潜在恢复的 HR 结果的解空间。早期，一些研究人员引入了基于插值的单图像 SR（SISR）方法，例如双三次插值及其改进算法 [13]，[14]。这些方法是简单地基于局部图像先验设计的，没有任何外部信息，存在边缘、轮廓和其他图像细节模糊的问题。之后，提出了一系列基于学习的SR算法，如基于邻域嵌入的方法[15]、基于稀疏表示的方法[16]、[17]和基于局部线性回归的方法[18] , [19].这些方法大多假设 LR 图像块和相应的 HR 图像块分布在不同的子空间并具有相似的局部流形结构，其中学习的 HR 和 LR 块的字典用于在测试阶段执行图像重建。然而，这些方法都是基于图像边缘、轮廓甚至图像原始像素等低级特征设计的，这限制了它们的性能。

近年来，自然图像 SR 社区引入了深度卷积神经网络 (CNN)并在准确性和视觉性能方面取得了很大进步。具体来说，CNN 可以自动学习高级特征表示，并进一步获得优于基于低级特征的传统方法的性能。 SRCNN [20] 是第一个专门为 SR 问题设计的基于 CNN 的方法，它学习 LR 和 HR 图像之间的端到端非线性映射。 SRCNN 通过三个卷积层的轻量级网络实现了最先进的结果。从那时起，在过去几年中提出了大量基于深度学习的 SR 方法。将残差学习和残差块合并到图像 SR 社区中以构建非常深的 SR 网络 [21]-[23]。许多研究人员提出了递归结构，通过重用某些卷积层来增加 SR 网络的深度，参数更少 [24]，[25]。此外，一些作品充分利用了来自每层通过密集连接获得丰富的特征表达[26]，[27]。

除了利用外部示例的非线性映射，即 LR 和 HR 对应物，一些研究人员还在改进超分辨率结果之前利用图像自相似性.图像自相似性是指相似块在单个图像中冗余重复出现的特征，结合经典的基于示例的 SR 方法[28]-[30]，在一些早期工作中广泛探索了这一点。最近，Shocher 等人。 [31] 提出了一种零镜头 SR (ZSSR) 网络，仅使用测试 LR 图像中的自相似信息。然而，对于每个新的测试LR图像，ZSSR都需要额外的训练时间，因此在实际应用中效率不高。

遥感图像还包含许多自相似性，即信息的内部循环。它通常覆盖相对较大的区域，并且相似的地面目标往往会在图像内重复出现，无论是在相同比例还是不同比例。图1给出了典型遥感场景中“地面目标重现”的例子。在此示例中，相似的道路补丁（标有黄色框）在同一比例尺图像中重复出现，而建筑物的屋顶（标有红色框）在不同比例尺中重复出现。这些补丁具有相似的外观，例如边缘和纹理，并且可以将此属性合并到 SR 方法中以提高超分辨率性能。在早期，Pan 等人。 [32]将遥感图像之前的自相似性引入稀疏表示框架。然而，SR的稀疏表示仅基于低级特征，难以充分利用整个遥感图像内部的递归。对于这个问题，一个自然的问题是我们是否可以使用流行的深度学习来利用遥感图像的自相似性来获得更强的特征表示。

在这篇文章中，我们提出了一种新的基于 CNN 的 SR 方法来充分利用遥感图像中信息的内部再现。我们将我们的方法命名为混合规模自相似开发网络 (HSENet)。

具体来说，我们引入了一个单尺度自相似利用模块 (SSEM) 来学习相同图像尺度内的特征相关性，其中采用非局部操作，并进一步将其计算的相关性作为注意力来自适应地重新缩放学习到的特征。
此外，我们提出了一种跨尺度连接结构 (CCS) 来捕获不同尺度的重复，其中设计了一个调整后的非局部块 (ANLB) 来计算两个特征尺度的相关性。

通过结合 SSEM 和 CCS，我们进一步开发了一个混合尺度自相似性利用模块 (HSEM) 来构建最终的 HSENet，它同时利用单尺度和跨尺度相似性。实验结果表明，我们的方法在精度和视觉性能方面都获得了优异的超分辨结果。
本文的主要贡献总结如下：
1）我们提出了一种新的基于CNN的方法HSENet用于遥感图像SR。我们提出的方法学习遥感图像中模式的单尺度和跨尺度内部递归，并在公共遥感数据集上获得最先进的 SR 性能。
2) 我们引入 SSEM 来学习模型中的特征相关性相同的图像比例并设计一个 CCS 来捕获不同比例的重复。此外，通过结合 SSEM 和 CCS，我们开发了一个 HSEM 来构建最终的 HSENet。

本文的其余部分组织如下。在第二节中，我们介绍了图像自相似性和图像 SR 的相关工作。我们提出的 HSENet 框架和该模型的细节在第三节中有详细描述。在第四节中，我们详细描述了我们的实验数据集、消融研究、实验结果和稳健实验。第五节得出最终结论。

二 相关工作

A Image Self-Similarity

Local 图像模式倾向于在具有相似轮廓和纹理的图像中重复出现 [28]，[33]。内部数据冗余通常存在于单个图像中的特性被认为是图像自相似性，广泛应用于许多低级视觉任务，包括图像去噪[34]、[35]、去模糊[36]和SR [29]-[31]。在 SR 中，Glasner 等人提出了基于自相似先验的开创性工作。 [28]，他们提出了一个统一的框架，结合了利用的内部补丁和基于示例的 SR。弗里德曼等人。 [29]遵循局部自相似假设并提取局部区域补丁以减少计算时间。此外，杨等人。 [30] 提出了一种非常快速的回归模型，该模型基于与外部和自身示例的就地相似性。最近，Shocher 等人。 [31] 提出了一个 ZSSR 网络，仅使用测试 LR 图像本身来执行无监督 SR，其中充分利用了输入 LR 图像的自相似块。潘等。 [32]引入了结构自相似先验结合稀疏表示的遥感SR问题。在本文中，对于遥感图像 SR，我们的目标是使用流行的深度学习来利用遥感图像的自相似信息以学习更强的特征表示。

B 基于 CNN 的图像 SR

Dong 等。 [20] 率先将深度学习应用于自然图像 SR。他们将图像 SR 制定为回归任务，并构建了一个三层 CNN 来直接学习 LR 和 HR 图像之间的非线性映射。之后，许多研究人员提出了深度 CNN 模型以获得更具代表性的特征。金等人。 [21] 引入了一个具有 20 层的非常深的卷积（VDSR），其中学习了图像残差。林等。 [22]提出了一种增强的深度超分辨率（EDSR）模型，该模型基于改进的没有批量归一化层的残差块。一些作品利用循环结构来重用卷积层，以提高模型参数较小的恢复性能。金等人。 [37] 采用递归块来扩大感受野，并引入递归监督和跳过连接来缓解训练问题。泰等人。 [24]提出了一种递归单元，将当前状态的多层表达学习为短期记忆，通过构建多个记忆模块，将输出作为长期记忆输入门单元，解决长期依赖网络模型深化引起的问题。最近，有几种方法将注意力机制结合到基于 CNN 的 SR 模型中，以重新调整不同特征的重要性。 RCAN [23] 结合了剩余通道注意机制来自适应地重新缩放特征。戴等。 [38] 提出了一种二阶通道注意模块，其中使用二阶特征统计来自适应调整通道特征，从而学习更具表现力的特征。

C Remote Sensing Images SR

用于遥感图像 SR 的方法大致可分为两类：基于稀疏表示的方法和基于深度学习的方法。在早期，Pan 等人。 [32] 首先将稀疏表示引入遥感图像 SR 领域，并在恢复遥感 HR 图像之前利用结构自相似性。侯等人。 [10] 在全局和局部约束下开发了一个全局联合字典模型，以获得图像块之间更好的内部关系。邵等。 [39]提出耦合稀疏自动编码器来学习LR图像和HR图像的稀疏表示系数之间的映射关系，以采用不同空间尺度的遥感图像。近年来，深度学习在遥感SR中得到广泛应用场地。雷等。 [40] 提出了一种结合局部和全局 CNN 特征的基于深度学习的遥感 SR 方法。豪特等人。 [41] 引入了一个深度纲要模型（DCM），它集成了一些组件，包括残差单元、跳跃连接和网络中的网络结构。潘等。 [11] 提出了用于遥感 SR 的带有上投影和下投影模块的残差密集反投影块。此外，许多研究人员从小波分析的角度解决遥感 SR 问题 [42]，[43]。王等。 [42]利用了几个平行的浅层CNN学习不同尺度下的不同小波带信息。Ma等人[43]将遥感图像转换为小波域，并提出了一种递归ResNet来学习小波域上的LR-HR映射。Zhang等人[44]在特征提取中引入了混合高阶注意力。Zhang等[45]提出了一种多尺度注意力网络（MSAN）来提取遥感图像的多层次特征，并采用场景自适应策略来描述不同场景的结构信息。Qin等人[46]引入了具有图像特异性增强的深度梯度感知网络（DGANet-ISE），并设计了一种梯度感知损失，以保留遥感图像的重要梯度信息。

三、方法论

在本节中，我们介绍了所提出的用于遥感图像 SR 的 HSENet。我们将首先简要介绍我们方法的总体框架。我们方法的核心，包括 SSEM 和 HSEM，然后分别在第 III-B 节和 III-C 节中讨论。实施细节在第 III-D.A 节中提供。

A 总体框架

HSENet的总体框架如图2所示。
参考一些最先进的方法[22]，[23]，[38]，我们的方法由三部分组成：
浅层特征提取部分，深层特征提取部分和重建部分。

浅层特征提取部分是提取LR输入的初始浅层特征。我们只使用一个卷积层C SF，内核为3×3，得到浅层特征

其中ILR和C SF分别表示LR输入和卷积运算，然后将F0作为输入以下深度特征提取层，提取的特征Fn可以计算为：

其中B Mn代表第n个基本模块（BM），Fn−1是BMn的输入，Fn是对应的输出。如图 2 所示，所提出的 HSEM 是 BM 的核心部分，旨在通过利用图像自相似性来学习更强大的特征表示。通过重建层进一步获得最终的超分辨输出

其中 ISR 是最终的超分辨图像，R 表示重建层，其中使用残差学习来加快收敛速度​​。 R的主要组成部分是图2所示的上采样层，其中采用了子像素卷积[47]。我们通过使用像素级L1损失函数来训练上述网络。给定超分辨图像ISR和对应的HR参考IHR，可以​​得到损失作为

其中 N 是训练图像的数量。

B. 单尺度自相似性开发模块 Single-Scale Self-Similarity Exploitation Module

我们首先引入SSEM来挖掘相同尺度遥感图像内的特征相关性，然后提出第III-C节中描述的HSEM建立在SSEM的基础上。

传统的卷积层只能覆盖有限的感受野，因此，将探索局部像素内的关系。然而，非局部块 (NLB) [48] 可以计算整个输入像素之间的相关性，并允许网络更多地关注信息区域。
它可以看作是一种自注意力模型。
在这里，我们将非局部操作合并到 SSEM 中以计算特征相关性，并将提取的自相似性信息进一步作为注意力，以学习更强的特征表示。

如图 3（a）所示，我们精心设计了主分支和注意分支执行单尺度特征表示。受一些基于注意力的方法[49]-[51]的启发，我们使用NLB提取的自相似信息作为注意力，以更好地指导主分支中的高频特征提取。
具体来说，在主分支中，使用两个卷积层来提取更高级别的特征，并在注意力分支中使用 NLB，以通过逐元素生成自适应地重新缩放主分支上的特征。
具体来说，非本地操作可以表示为

其中 i 是输出仓位的索引，j 是枚举所有仓位的索引，x 和 y 表示此操作的输入和输出，如图所示。第3（b）段。成对函数f可以计算xi和所有xj之间的相关性，函数g提取xj的特征表示。单尺度自相似性可以通过这种成对运算得到，在注意力分支中起着重要作用。
我们在这里使用嵌入高斯函数来学习成对相似性

其中 θ（xi） = Wθxi 和 φ（xj） = Wφxj 分别是 xi 和 x j 的嵌入。同时，为了降低非局部运算的计算成本，通过因子参数r控制xi和xj的维数。最后，进一步得到NLB的输出

其中Wφ是一个权重矩阵，yi可以重写为softmax（（Wθ xi ）T Wφ x j）。
NLB 之后的卷积层用于将输入转换为注意力图，然后通过 sigmoid 函数对其进行归一化。
此外，主分支的输出特征将乘以注意力图，其中每个空间和通道位置的激活值都被重新缩放。

C Hybrid-Scale Self-Similarity Exploitation Module 混合尺度自相似性开发模块

在本节中，我们介绍了基于上述 SSEM 的 HSEM，以同时利用遥感图像的单尺度和跨尺度相似性信息，如图 4 (a) 所示。让我们将 f b 表示为 inHSEM 的输入，它也被视为来自基本尺度的特征。为了利用不同尺度信息的内部循环，下采样尺度 f d in 的特征将通过以下方式获得

其中 Ds 表示比例因子为 s 的下采样操作。
然后，我们使用两个SSEM分别利用其整个范围内的相关性提取具有两个不同尺度f b和f d的强大特征表征。
缩减采样尺度的输出将按相同的比例因子 s 进一步上采样。
在这里，x b 和 x d 分别表示通过 SSEM 的基本尺度和下采样尺度的输出，其公式为

其中 Us 表示比例因子为 s 的上采样操作，x d 表示与 x b 具有相同的维度。
此外，我们设计了一个CCS来利用x b和x d之间的相似性。
ANLB是该CCS的主要组成部分，专门设计用于利用两个遥感图像尺度之间的相关性。

如图4（b）所示，ANLB和NLB的主要区别在于输入结构，随后的自相似性计算工作流程相似。
因此，公式（10）中ANLB的yi将改写为：

其中 f(xid,xbj) 计算为 exp(θT(xid)φ(xbj))。需要强调的是，xb 和 xd 在 ANLB 中扮演不同的角色，xd 仅用于计算成对函数。

在 CCS 中，ANLB 可以融合多个尺度特征并利用它们之间的相似性。
然后应用一个卷积层来进一步映射输出的融合特征。应该注意的是，在 SSEM 和 HSEM 中都使用了局部跳过连接。这些连接可以看作是一种残差特征学习，它允许我们形成非常深的网络，几乎没有训练问题。

D 实现细节

在本文中，我们重点关注 2×、3× 和 4× 比例因子，重建部分的上采样块将根据具体比例因子进行微调。在训练阶段，将从 LR 图像中随机裁剪出 48×48 个图像块，并从对应于比例因子的 HR 图像中提取其地面实况参考。此外，训练图像通过随机旋转 90°、180°、270° 和水平翻转来增强。我们最终将 BM 的数量设置为 10，参数 r 和 s 均设置为 2。此外，双三次插值运算用于执行 HSEM 中的下采样和上采样。

我们使用 Adam 优化器 [52] 来训练我们的模型，其中 β1 = 0.9、β2 = 0.99 和 = 10−8。初始学习率设置为 10−4，小批量大小为 4。总训练轮数为 500，学习率在 400 轮时减半。我们提出的方法由 PyTorch [53] 实现，所有实验都在 NIVIDIA GeForce GTX 1080Ti 显卡上运行。我们的代码将在 https:/github.com/Shaosifan/HSENet.IV 上公开。

实验结果和分析

实验数据集和设置我们选择 UCMecred 数据集 (UCMerced) [54] 来证明我们提出的方法的有效性。该数据集已广泛用于遥感 SR 领域的评估 [40]、[41]、[46]。具体来说，UCMerced共包含21个类，涵盖了农业、飞机、棒球场、海滩等多个遥感场景。每个类别有 100 张图像，所有图像都在 256×256 像素左右，空间分辨率较高，为 0.3 m/像素。按照 [41] 和 [46]，数据集被分成两个平衡的一半作为训练集和测试集，每个都有 1050 个样本。在我们的实验中，通过双三次插值操作从 HR 图像中对 LR 图像进行下采样，并将相应的 HR 图像视为基本事实。所有结果均通过峰值信噪比（PSNR）和结构相似性指标度量（SSIM）[55]进行评估。我们进一步验证了HSENet对GaoFen-1和GaoFen-2的一些真实多光谱遥感数据的鲁棒性卫星。选择这些图像的三个可见波段以生成 RGB 图像并用作 LR 输入。此外，我们在 NWPU-RESISC45 [56] 上进行了一些实验，以证明我们的方法对遥感场景分类任务的帮助。

消融研究

在本节中，我们进行了一些消融研究，以证明我们提出的方法的主要组成部分的有效性，包括单尺度自相似增强模块 (SSEM) 和 CCS。对于基线模型，我们使用具有局部跳跃连接的十个卷积层来替换我们提出的方法中的 BM，使其具有与其他变体相似的总参数。
图 5 显示了 UCMerced 测试的 PSNR 比较比例因子为 4× 的数据集，其中 BM 的数量设置为 10。它验证了所提出的 SSEM 和 CCS 组件的有效性。同时，我们最终的 HSENet 获得了更好的超分辨结果和更快的收敛。在表 I 中，我们进一步探讨了 BM 数量的影响，其中比较了基线模型和提出的 HSENet。

表 I 显示了比例因子 4× 的 UCMerced 测试数据集上的 PSNR 和 SSIM 评估。可以看出，当数字为 10 且比相应基线高 +0.115 dB 时，我们的方法获得最佳性能。同时，需要注意的是，当BM的数量变大时，性能趋于下降，这意味着在UCMerced数据集上出现了过拟合。

与其他方法的比较

我们进一步将我们的方法与一些 SR 方法进行了比较，包括传统的双三次插值、SC [57]、SRCNN [20]、FSRCNN [58]、LGCNet [40]、DCM [41] 和 DGANet-ISE [ 46] 在 UCMerced 测试数据集上。在大多数 SR 文献中，双三次插值通常用作弱基线方法。在这些方法中，SC、SRCNN 和FSRCNN 是在自然图像 SR 领域提出的，LGCNet、DCM 和 DGANet-ISE 是最近提出的专门针对遥感 SR 问题设计的基于深度学习的方法。这些比较在 UCMerced 测试数据集上的评估结果在一些已发表的作品 [40]、[41]、[46] 中有报道。表 II 列出了不同方法在所有 UCMerced 测试数据集上的平均定量评估结果2×、3× 和 4×。可以看出，我们的方法在所有尺度的 PSNR 方面都取得了最佳性能。具体而言，我们的方法相对于第二好的 DGANet-ISE 的 PSNR 增益对于尺度 2 和 4 分别为 0.54 和 0.42 dB。

此外，我们的方法获得的 PSNR 比尺度 3 的 DCM 高 0.48 dB。在 SSIM 度量的情况下，我们的方法获得的第二个性能比尺度 2 和 4 的 DGANet-ISE 低 0.0017 和 0.0042。图 6显示了这些方法的一些重建结果。与其他方法相比，我们的方法恢复的 HR 结果具有更清晰的边缘和轮廓。此外，表 III 提供了不同方法在所有 21 个类 1 上针对比例因子 3× 的详细性能UCMeced 数据集。由于 DGANet-ISE 未报告其在 scale 3 上的性能，因此 DGANet-ISE 的结果未包含在表 III 中。从结果可以看出，我们的模型在 13 个 UCMerced 场景类别中获得了最好的 PSNR 结果，而第二好的 DCM 在其他八个类别中获得了最好的 PSNR。与 DCM 相比，我们的方法在一些包含丰富边缘和轮廓的场景中更有效，例如“建筑物”、“密集住宅”、“高速公路”和“储罐”。同时，对于整体评估，所提出的方法比 DCM 实现了 0.48 dB 的更高 PSNR。还可以发现，不同场景的 PSNR 结果差异很大，其中“海滩”（class4）图像的 PSNR 为 37.69 dB，而“停车场”（class16）图像的 PSNR 只有 24.66 dB。造成这种现象的原因是不同遥感场景的图像内容差异很大，即“停车场”场景比“海滩”场景拥有更多的高频信息。非常平滑的场景，例如“Baseballdiamond”（class3）、“Beach”和“Golfcourse”（class10），往往具有更高的 PSNR 结果，其中几乎没有高频信息应该被超分辨。真实遥感数据的结果先前的实验是在 UCMerced 数据集上进行的，该数据集包含空间分辨率为每像素 0.3 m 的 HR 航空遥感图像。为了进一步验证为了提高我们方法的重建能力，我们在这里使用来自高分一号 (GF-1) 和高分二号 (GF-2) 卫星的一些真实多光谱数据。 GF-1 和 GF-2 的空间分辨率分别为 8 和 3.2 m/像素。选择这些图像的三个可见波段来生成 RGB 图像，这些图像在本实验中用作 LR 输入。我们在 UCMerced 数据集上使用预训练的 HSENet 模型来恢复给定这些 LR 输入的高频细节。如图所示。如图 7 和 8 所示，我们的 HSENet 在处理一些典型场景（包括道路、工厂、稻田和建筑物）上的真实遥感数据时可以获得有希望的结果。尽管这些输入的空间分辨率不同于训练数据集中的 LR 图像，比例因子 3× 和 4× 分别为 0.9 和 1.2 m/像素，我们的方法仍然可以提高遥感图像的视觉感知质量.它验证了我们 HSENet.E 的泛化。

对遥感场景分类的影响

图像 SR 通常被视为一些高级任务的预处理步骤，例如图像分类 [59] 和小目标检测 [60]。具体来说，当输入是 LR 图像时，SR 方法可以提供更多的图像细节，有利于下游任务。为了进一步验证所提出的 HSENet 的有效性，我们使用遥感图像分类数据集 NWPU-RESISC45 (NWPU) [56] 进行了另一项实验。 NWPU 包含 45 个不同的场景，每类 700 张图像，每张图像的大小为 256×256。在本实验中，我们将 NWPU 数据集随机分成两半，一部分用于训练，另一半用于测试。然后在训练数据集上对 ResNet-50 [61] 进行再训练，其权重通过 ImageNet 上的模型训练进行初始化。在测试阶段，我们将原始测试数据作为 HR 图像，相应的 LR 图像通过比例因子 4× 的下采样产生。表 IVACCURACY RATES (%) ON THE SUPER-RESOLVES RATES OF DIVERENT METHODS OF GIVEN NWPU LR TEST IMAGES （比例因子 4）。分类器是微调的 RESNET-50LR 图像通过许多方法进一步超分辨，包括双三次插值、LGCNet [40]、EDSR [22]、RCAN [23] 和我们的 HSENet。然后将微调的 ResNet-50 用作超分辨率图像的分类器，表 IV 列出了分类性能。表 IV 中的“Ground Truth”代表原始测试 HR 图像，可作为其他方法的参考。 ResNet-50 在我们方法的超分辨图像上获得了最高的 Top-1 和 Top-5 精度，这意味着我们的方法可以恢复更多地面目标的细节，并有助于比其他 SR 更准确的遥感场景分类方法.

V.结论

在本文中，我们提出了一种用于遥感图像 SR 的新型 HSENet。
HSENet 有效地利用了图像内单尺度和跨尺度信息的内部循环。
我们引入了 SSEM 来挖掘相同比例图像内的特征相关性。
同时，我们设计了一个 CCS 来捕获不同尺度的重复。

通过结合 SSEM 和 CCS，我们进一步开发了 HSEM 来构建最终的 HSENet。
消融研究证明了主要成分的有效性呵呵。

我们的方法在UCMerced数据集上获得了比几种最先进的方法在准确性和视觉性能方面更好的超分辨率结果。此外，在真实世界卫星数据（GF-1和GF-2）上的实验验证了HSENet的鲁棒性，在NWPU数据集上的实验表明，当给定LR输入时，通过我们的方法恢复的地面目标的细节有助于更准确的分类。