《小V读研笔记》#NDSRGAN 论文详解

论文地址：https://www.mdpi.com/2072-4292/14/7/1574

一、背景

在航空摄像领域，由于图像技术和摄像设备的影响，获得高分辨率的航空图像是很困难的。获得高分辨率图像通常需要无人机进行超低空航空摄影，这一过程既费人工又耗成本。因此，从算法角度实现图像超分辨率（SR）重建的技术已经成为图像处理和计算机视觉等各个领域的重要研究课题。

在无人机航拍领域，由于对航拍图像进行压缩和融合处理，用现用的超分重建模型对真实的低分辨率图像进行重建时容易产生一些伪影、纹理细节失真等问题，从而导致获得的低分辨率航拍图像纹理细节严重丢失。

因此，本文提出了一种用于真实航空遥感图像超分辨率重建的密集生成对抗网络( NDSRGAN )，并构建了高分辨率和低分辨率配对的真实航空遥感图像数据集。

二、架构

2.1、生成网络

生成网络如下所示。首先，低分辨率图像（ILR）经过一个 Conv 层提取低分辨率图像的原始特征（If）。然后，If  作为通过密集网络连接的多个 DCRDB 的输入。

DCRDB 由多个 DB 和一个 Conv 层密集连接而成，密集连接能够确保每个密集块的输出特征图可以在多个层中被重复使用，从而最大化低分辨率图像的特征信息的使用。

 

 

DB 有多个 CL 和一个 Conv 密集连接而成，CL 模块又包括 Conv 和 LReLU 层。

 

经过一系列 DCRDB 和 Conv 层后，通过两次上采样（最近邻算法）对图像进行放大到目标尺寸。

2.2、判别网络

传统判别器的接受域是整幅图像，因此该网络对图像的局部信息不敏感，在丰富的高频细节中不能实现高精度的重建。

因此，本文使用矩阵均值判别器（MMD）对重建图像进行局部判别的思想去构建判别器网络。判别器最终会生成一个 n*n 的判别矩阵（矩阵中的每一个值代表图像中的一个感受野），对矩阵中的每个值进行真假判别从而实现对图像的局部判别。最后，对局部判别结果求均值，得到最终判别网络的输出。

三、损失函数

3.1、生成网络损失函数

生成网络损失函数由像素损失、感知器损失和对抗性损失组成。β 和 γ 表示像素损失和生成器对抗性损失的权重系数。

3.1.1、像素损失

|x|≥1 为 L1 损失，解决训练初期 ISR 和 IHR 差异过大，从而导致梯度过大，训练不稳定的问题。

|x|＜1 为 L2 损失，解决训练后期 ISR 和 IHR 差异很小时，L2 损失的导数也相对较小。从而使得损失收敛的更加稳定，并有助于收敛到全局最优。

3.1.2、感知器损失

感知器损失是在用 19 层的 VGG （激活后）网络从生成的图像和真实图像中提取特征图。

该网络的目标是最小化特征图之间的误差。添加此损失函数使模型能够生成具有更逼真的纹理的图像。

3.1.3、对抗性损失

生成网络的对抗损失中矩阵 DHS 每个元素的优化目标为 0，矩阵 DSH 每个元素优化目标为 1。

3.2、判别网络损失

判别网络损失函数主要由对抗损失构成。

生成网络的对抗损失中矩阵 DHS 每个元素的优化目标为 1，矩阵 DSH 每个元素优化目标为 0。

Η 表示 LDA 的权重系数。

通过交替训练来优化 LG 和 LD，以更新生成网络和判别网络的参数，并获得超分辨重建模型。

四、贡献

• 构建了高分辨率和低分辨率配对的真实航空遥感图像数据集。

• 在生成网络中使用密连的跨层连接。在判别网络中使用矩阵均值判别器，可以对图像进行局部判别。

• 使用 smoothL1 损失加速模型收敛并更快地达到全局最优。