单幅遥感图像超分辨率SRADSGAN模型官方介绍

论文题目：Single Remote Sensing Image Super-Resolution via a Generative Adversarial Network With Stratified Dense Sampling and Chain Training

论文链接：https://ieeexplore.ieee.org/document/10375518

论文代码：https://github.com/Meng-333/SRADSGAN

checkpoint:  百度网盘：https://pan.baidu.com/s/1eUANo6besXp5HctEqqRVOA?pwd=0115 
提取码：0115

or 谷歌网盘 https://drive.google.com/drive/folders/1_ncUya30a-AwaDXkys56AMj2m8eSJjfH?usp=sharing

发表时间：2024.1.3

其它说明：单张3090显卡即可满足算力要求，如果我们的论文或代码对您有所帮助，请引用一下！

1. 摘要

        超分辨率方法对遥感图像空间分辨率的提高做出了显著贡献。深度学习的发展提供了从大量低分辨率和高分辨率图像对中学习信息特征表示的新方法。 然而，传统的遥感图像超分辨率方法在大倍数（x𝟖, x𝟗）超分辨率任务中可能会失败。 具体来说，比例因子越大对应低分辨率图像中的信息越少，这对超分辨率来说是一个相当大的挑战。 为了解决这个问题，我们提出了一种基于分层密集采样的单幅遥感图像超分辨率新方法，以有效提取图像特征。 具体来说，提出的超分辨率密集采样残差注意力网络结合了密集采样和残差学习来改进多级特征融合和梯度传播，并利用局部和全局注意力机制在通道和空间维度上来学习图像重要特征和远程相互依赖关系。同时，我们还设计了一个使用局部和全局注意力的鉴别器模型，并使用集成L1像素损失、L1感知损失和相对对抗损失的损失函数来获得感知逼真的重建图像。 此外，我们引入了链式训练来提升模型性能并加快大倍数超分辨率的训练过程。 UC Merced测试集和其他多光谱数据上的实验结果表明，我们的方法在定量和视觉质量上都优于当前最先进的方法，并且在场景分类中获得了更高的分类精度，证明了其在其他下游遥感视觉任务中的应用潜力。

2. 背景

​

3. 方法

        针对现有遥感影像超分辨率方法（传统生成式模型，CNN等）在多层特征的融合利用、模型重建的视觉效果等方面的不足。我们提出了一个基于分层密集采样和链式训练，用于遥感图像超分辨率研究的GAN-based新方法，同时结合了通道维度和空间维度的局部注意力机制和全局注意力机制。

​

4. 数据集和评价指标

        本文获取了36720个高分辨率遥感影像样本（216×216大小），其中训练集34672个样本，测试集2048个样本。涵盖多种类型遥感场景的高分辨率遥感影像，包括飞机、荒地、海滩、桥、商业区、密集住宅、沙漠、农田、森林、工业、草地等遥感场景。Train：["AID", "DOTA", "LoveDA", "RSSCN7_2800", "SECOND"]   Test：["UCMerced_LandUse"]

        研究使用五种广泛使用的图像质量评估指标，包括均方误差（MSE）、峰值信噪比（PSNR）、结构相似性指数（SSIM）、相对无量纲全局误差（ERGAS）和图像感知相似性（LPIPS）。

Dataset Link:  ​ https://pan.baidu.com/s/1cXkKu-CI6Q8EF_7Kbfxodg?pwd=w5t8 提取码：w5t8  or https://drive.google.com/drive/folders/1e4VRUgFL4bDRfrb0CS6-Y9f7bTZhBqiV?usp=sharing

5. 实验

        我们一共进行了五组SR任务（x2, x3, x4, x8, x9）, 定量和定性结果如下所示：

5.1 不同方法在UC Merced数据集上的超分辨率结果

​

​

​

​

​

​

​

​

​

​

​

5.2 DSSR、SRAGAN和SRADSGAN在UC Merced数据集21类场景的8倍任务超分辨率结果

​

​

5.3 泛化和推理实验

        为了进一步验证所提方法的泛化性能，我们在高分2号影像上开展了实验，结果表明本文方法在MSE、PSNR和ERGAS指标均优于现有对比模型。

​

        为了进一步验证所提方法的应用能力，我们也在哨兵2号影像上开展了推理实验，结果表明我们方法可以预测出更多细节信息，较好地改善了哨兵2图像的质量。

​

6. 结论

        在本研究中，我们提出了一种基于 GAN 的超分辨方法（SRADSGAN）来解决大倍数超分辨率问题。 与现有方法相比，我们开发了一种用于遥感图像超分辨率的SRDSRAN。 具体来说，我们加入了密集采样和残差学习来促进多级特征融合和梯度传播，同时采用局部和全局注意机制来关注重要特征并学习通道和空间维度中的远程相互依赖性。 除了提高生成器的能力之外，我们还利用局部和全局注意力设计了判别器模型，并采用结合 L1 像素损失、L1 感知损失和相对对抗损失的损失函数来获得感知逼真的图像。 此外，通过利用小倍数模型的先验知识，我们证明链训练可以进一步提高性能并加快大倍数超分辨率的训练过程。 广泛的基准评估指标表明，与当前的SOTA模型相比，我们的SRADSGAN实现了定量和视觉质量的提升。 同时，该方法在场景分类实验中比其他方法获得了更高的分类精度，并且在其他多光谱数据上取得了更好的重建结果。 在未来的工作中，我们的目标是与其它遥感视觉下游任务实现不同网络的端到端联合优化，以扩展我们提出的方法的应用场景。