【论文阅读】Remote Sensing Image Super-Resolution via Dilated Convolution Network with Gradient Prior

---

论文地址

1、论文

---

基于梯度先验的膨胀卷积网络的遥感图像超分辨率

摘要

由于成像传感器的限制，卫星图像的空间分辨率往往不足，即低分辨率（LR）。因此，提出了超分辨率（Super-resolution，SR），力图提高图像分辨率，完美弥补卫星传感器成像的不足。
在这项研究中，我们开发了一种独特的具有梯度先验（DCNG）的扩张卷积网络用于遥感 SR，旨在使用梯度先验和有效网络提取强大的低级特征，然后重建高级特征细节。 DCNG 由两个组件构成：多尺度特征提取网络和特征重建网络。
在多尺度特征提取网络中，双路径扩张残差块（DPDRB）设计了扩张卷积操作来获得多尺度特征并增加感受野，全局自注意力模块（GSA）捕捉图片块之间的长程依赖性，并提出了梯度传播网络（GPN）来提取高级梯度信息。
在Feature Reconstruction Network中，引入了Pixel Shuffle，通过结合不同频段的特征来重构特征。
使用 Massachusetts_Roads 和 3K VEHICLE_SR 数据集的实验表明，我们的 DCNG 在定量和定性评估方面超越了最先进的算法。

索引术语 - 遥感超分辨率，注意力，扩张卷积，梯度先验

1. 简介

超分辨率（SR）是计算机视觉中的一个当前主题，用于从低分辨率（LR）对应物重建高分辨率（HR）图像。卫星图像对于一系列实际应用非常珍贵，包括资源管理，环境监测[1]和军事调查。HR图像通常包含大量关键信息和纹理。然而，由于成像技术的局限性，遥感图像通常受到LR的影响。此外，传输噪声和运动模糊等许多其他问题也会降低遥感图像的质量[2]。
提高图像分辨率，最直接有效解决方案是为传感器配备更高的精度，这无疑会增加更多的成本。
因此，开发一种优秀的基于软件的超分辨率或图像恢复算法可能是建立实用且成功的策略以克服与远程访问和图像数据收集相关的限制的另一种选择。
然而，单图像超分辨率（ SISR）由于特定高频信息的丢失以及对应于一个原始LR图像的现有各种HR图像仍然是一个未解决的问题。
迄今为止，已经发布了许多 SISR 技术，它们分为三大类：基于插值的算法、基于重建的算法和基于学习的算法 [2]。

• 图像重建的第一个也是最基本的方法是基于插值的算法。通过直接利用自然图像的先验知识，传统的插值算法，如最近邻和双三次插值[3]，已经产生了良好的效果。另一方面，具有丰富复杂细节的真实世界卫星图像使重建过程变得更加困难。当图像尺寸增加时，简单的基于插值的方法可能会导致过度平滑的边缘。
• 通过限制平滑和下采样，大多数现有的 SR 方法使用基于重建的方法来重建匹配的 HR 图片。然而，各种基于重建的方法在很大程度上依赖于 HR 图片的先验知识。通常，基于重建的方法不仅直观，而且适用于广泛的先验知识。然而，它们仅限于需要复杂参数调整程序的手工制作的功能。因此，处理复杂多变的场景变得更具挑战性。此外，在高频细节很少的情况下，重建图像将是平滑的。
• 提出了基于学习的算法 [4]，通过在 LR 和 HR 图像配对之间构建端到端训练来避免上述问题。

随着深度学习在计算机视觉领域的兴起，深度卷积神经网络 (CNN) 在 SR 领域取得了重大进展，因其强大的特征表示而发挥着重要作用。但是，也存在以下问题，基于CNN的遥感SR模型：
1）具有许多卷积层的CNN模型会产生巨大的参数并使训练过程复杂化，从而降低真实场景中的性能和效率。
2）大多数CNN使用小的3×3滤波器，特征图的感知场较窄，不足以捕捉像素数据的整个趋势。
3）最常用的基于CNN的SR模型忽略了可以提高图像质量的有用先前知识。

本文的其余部分将按以下方式组织。在第二节中，我们概述了所提出的方法。第三部分解释了实验程序，并讨论了证明建议方法的结果。最后，第四节结束。

2. 梯度先验膨胀卷积网络的超分辨率

所提出的方法（DCNG）如图所示。1. DCNG由多尺度特征提取网络和特征重建网络组成。以下各节将详细介绍上述步骤。

A. 全球语境信息的全局自注意力模块

Global Self-attention Module for global context information
当前的卷积网络专注于一个小区域，导致无法捕获整个空间空间中的全局关系。鉴于遥感影像大跨度区域自相似性的自然特性，该注意力机制具有将自相似斑块聚合到查询位置的能力，因此常用于识别和检测任务。受[5]的启发，我们采用GSA块来聚合远程特征图。

GSA 块如图 2 所示。输入特征图定义为输入向量的 1×1×1 卷积之后是选择性重写传导，以在不同的特征空间中产生三个嵌入特征映射𝐾、𝑄和𝑉，其中
𝐾∈𝑅𝐵×（𝑊×𝐻）×𝐶/2， 𝑉 ∈ 𝑅𝐵×(𝑊×𝐻)×𝐶/2 , 𝑄 ∈ 𝑅𝐵×𝐶/2×(𝑊×𝐻) 。

我们将输出通道设置为𝐶/2以降低计算成本。以下公式可用于计算注意力权重矩阵
𝐴 ∈ 𝑅𝐵×(𝑊×𝐻)×(𝑊×𝐻):
A = softmax(K) ⊗ Q (1)

其中 ⊗ 表示矩阵乘法。然后通过对 A 和 V 执行矩阵乘法来重新缩放值向量𝑂，如下所示：
𝑂 = 𝐴 ⊗ softmax(𝑉) = [softmax (𝐾) ⊗ 𝑄] ⊗ softmax (𝑉) (2)

最终输出 Z 可以是通过卷积和逐元素加法计算：
𝑍 = 𝐶1×1×1(𝑂) + 𝑋 (3)
其中𝐶 是调整通道数的 1×1×1 卷积运算。

B. Double-path dilated residual block for multi-scale feature

extractiondilated convolution可以看作是“带dilated filter的卷积”，相当于在卷积核的两个相邻段之间加入零元素。通过应用不同的扩张率，可以使用相同的卷积核获得不同的感受野。图 3。和式（4）分别说明了双路径扩张残差块（DPDRB）的内容，它由两部分组成，多尺度特征提取和加权残差连接。提出了一种双路径扩张卷积网络，以使用可变扩张率提取局部多尺度特征。然后可以在块内共享嵌入信息，从而允许在不同尺度下传输和融合图像特征。

其中σ表示ReLu函数，w和b是卷积网络的权重和偏差，F表示第n层的特征nmap，λ1和λ2是可学习的加权参数。

C. 梯度传播网络 （GPN）

图像的梯度定义了图像像素的灰度值沿 x 轴和 y 轴变化的程度。HR 图像比朦胧图像具有更清晰的轮廓。对于图像，相邻像素之间的差异可以近似为渐变：

其中 I（x， y） 表示 （x， y） 位置的像素值。从梯度计算中获得的梯度图M（G）被传递给GPN。GPN 以 3×3 核大小的初始卷积层开始。

GPN的后半部分包含三个重复的梯度块（GB），每个块相当于DPDRB，每个GB接受中级SR和梯度的串联作为输入

D.Feature Reconstruction Network

在目前的SR技术中，积累了许多残差块来构建一个非常深的网络模型，并且在大多数SR模型中通常应用来自最后一个残差块的特征图来重建HR图像。尽管深度网络已经取得了一些出色的性能，但在解决分层特征的特征分布方面存在局限性，导致无法利用不同频率的特征图。 [6] 指出来自不同频段的特征图通常变化很大，因此直接连接从不同层产生的所有特征图并不是最好的技术。因此，我们将来自浅层和深层的特征映射合并到我们受[7]启发的重建网络中，这个过程可以总结如下： 𝑟 𝑟 1×1 𝑟 𝑀−𝑟 𝑟−1我们假设重建网络包含𝑁重建块（𝑅𝐵s）和𝑀 = 2𝑁 + 1。
每个RB由一个卷积层、一个像素洗牌层和一个卷积层连接。
𝐹𝐸和𝐹𝑅表示提取网络和重构网络的特征，𝑅𝐵表示𝑟阶r的RB，𝐹𝑅和𝐹𝑅分别表示重构部分𝑟-th RB和𝑟-1-th RB的输出𝑟𝑟feature。

3. 实验与分析

为了评估所提方法的有效性，两个遥感影像数据集，Massachusetts_Roads（512×512 piexls）和 3K VEHICLE_SR（512×512 像素）是用作实验数据。将所提出的方法与四种经典的超分辨率算法进行了比较：ESPCN [8]，Bicubic，VDSR [9]，DRN [10]和LGCNet [11]。

4. 结论

本文提出了一种基于梯度先行扩张卷积网络（DCNG）的遥感影像超分辨新方法。
利用DPDRB中的扩张卷积以较少的参数增强感受野，并采用GSA模块有效地捕获长程相似性和依赖性。此外，图像渐变的先验知识有助于重建边缘和微小细节。与最先进的SR算法相比，所提出的方法提取了更多的全局详细信息，并在定性和定量方面取得了最佳结果。