超分辨DRLN

摘要:超分辨率卷积神经网络最近证明了对单个图像的高质量恢复。

然而，现有算法通常需要很深的体系结构和很长的训练时间。此外，目前用于超分辨率的卷积神经网络无法在多个尺度上利用特征并对其进行同等加权，从而限制了其学习能力。

1.introduction

在本文中，我们提出了一种紧凑而精确的超分辨率算法，即稠密剩余拉普拉斯网络（DRLN）。所提出的网络在残差结构上采用级联残差，以允许低频信息流专注于学习高级和中级特征。此外，通过密集连接的剩余块设置实现深度监控，这也有助于学习高级复杂特征。此外，我们建议拉普拉斯注意对关键特征建模，以学习特征映射之间的层间和层内依赖关系。此外，对低分辨率、含噪低分辨率和真实历史图像基准数据集的全面定量和定性评估表明，我们的DRLN算法在视觉和准确度方面优于最先进的方法。

近年来，超分辨率（SR）作为一种低水平视觉任务，由于人们对图像质量的要求越来越高，成为一个研究热点。超分辨率解决了从低分辨率（LR）输入重建高分辨率（HR）输入的问题。我们的目标是超分辨率处理单个低分辨率图像，这一技术通常称为单图像超分辨率（SISR）。图像SR是一项具有挑战性的任务，因为该过程是不适定的，这意味着输出HR图像与输入LR图像之间的映射是多对一的。然而，尽管这是一个难题，但它在许多计算机视觉应用中都很有用，例如监视成像[1]、医学成像[2]、取证[3]、物体分类[4]等.

深卷积神经网络（CNN）超分辨率方法[7]、[11]、[12]在SISR中显示出比传统超分辨率方法的改进。近年来，卷积神经超分辨率网络的性能和深度有了显著的发展。例如，SRCNN[11]有三个卷积层，而RCAN[7]有400多个。然而，使用深层网络可能不适合许多应用。在这方面，设计高效的网络至关重要。减少网络规模的最直接方法就是减少深度，但这会降低质量。所以，设计一个注重计算特征可重用性的高效网络至关重要。

深度缩减的一个有效替代方案是采用递归架构，这种尝试以DRCN[13]和DRRN[12]的形式进行。DRCN[13]通过递归连接避免冗余参数，而DRRN[12]通过剩余递归连接共享参数。与标准CNN相比，递归网络实现了参数数量的减少和性能的提高；然而，这些模型有一些局限性，它们是：1）上采样输入，2）增加了深度，3）增加了宽度。虽然这些使模型能够从低分辨率图像中重建结构特征，但这是以大量操作和高推理时间为代价的。形成紧凑模型的另一种方法是利用卷积层之间的密集连接，例如SRDenseNet[14]和RDN[15]。

为了优化速度和参数数目，CARN[8]采用了群卷积。该网络主要基于残差区块的变体。虽然它可以实现良好的速度和较少的参数，但它没有达到RCAN设定的PSNR标准[7]。另一方面，大多数CNN模型[5]、[9]、[16]、[17]对特征的处理是相同的，或者只是在一个尺度上，因此缺乏处理不同频率水平（例如低、中、高）的适应性。超分辨率算法旨在恢复中频和高频，因为可以从输入的低分辨率图像中获得低频，而无需进行大量计算。最先进的方法[7]、[15]、[18]对特征进行了同等或有限规模的建模，忽略了其他尺度上丰富的频率表示；因此，它们缺乏跨通道的区分学习能力和能力，最终限制了卷积神经网络的能力。为了解决这些问题，我们提出了稠密剩余拉普拉斯注意网络（DRLN）来重建SR图像。DRLN利用剩余块之间的密集连接来使用先前计算的特征。类似地，我们使用拉普拉斯金字塔关注在多个尺度上根据其重要性对特征进行加权。

总之，我们的主要贡献有四个方面：•我们提出了密集连接的剩余块和拉普拉斯注意网络，以实现精确的图像超分辨率。我们的网络通过多快捷连接和多级表示实现了更好的性能。

•我们新颖的设计采用级联剩余架构，可帮助训练深层网络。我们的DRLN中的不同连接类型和残余物上的级联有助于绕过足够的低频信息，以了解更准确的表示。

•我们引入了拉普拉斯注意力，它有两个目的：1）学习多个子频带频率下的特征，2）自适应地重新缩放特征和建模特征相关性。拉普拉斯注意力进一步提高了我们网络的特征捕获能力。

•通过大量实验，我们表明DRLN是高效的，并取得了更好的性能。

2.related works

在本文的这一部分，我们提供了深度超分辨率的时间推进。Dong等人[11]通过引入由三个卷积层组成的全卷积网络以及ReLU[19]，提出了超分辨率方面的开创性工作，并将其命名为SRCNN[11]。SRCNN[11]的输入是一个双三次插值图像，它减少了高频，需要额外的计算。为了减轻网络负担，FSRCNN[20]输入原始低分辨率图像，并采用反褶积，在最终目标函数之前将特征提升到所需的维数。[20]的作者还利用通道的缩小和扩展，使模型在CPU上接近实时。

最初，重点放在线性网络上，它具有一个简单的架构，没有跳跃连接，即只有一条信号流路径，各层连续堆叠。SRCNN[11]和FSRCNN[20]是线性网络的示例。类似地，图像恢复CNN缩写为IRCNN[21]，另一个直接模型，可以联合恢复多个低水平视觉任务。这里的目的是利用卷积层中的扩张来捕获更大的感受野，以便更好地学习，再加上批量归一化和非线性激活（ReLU），以减少网络的深度。此外，SRMD[22]是一种扩展的超分辨率网络，可以处理不同的退化。SRMD[22]输入低分辨率图像及其计算出的退化图。模型结构类似于[11]、[21]。

随着跳过连接在CNN网络中的出现，它的使用成为超分辨率的一个显著特征。在这方面，超深超分辨率（VDSR）[9]结合了全局跳跃连接，以使用梯度剪裁来强制残余学习，从而避免梯度消失。VDSR[9]改进了先前的CNN超分辨率方法。受VDSR[9]的启发，该作者接下来介绍了DRCN[13]，它使用深度递归结构共享参数。这种共享技术大大减少了参数的数量；然而，性能落后于VDSR[9]。随后，深度递归残差网络（DRRN）[12]在不同的卷积块上复制主跳接，以通过多径架构加强残差学习。其目的是通过参数共享降低内存成本和计算复杂性。此外，Tai等人[23]引入了持久内存网络（MemNet），它由递归堆叠在一起的内存块组成。然后将每个块密集地连接到一个门单元，其中每个门单元是一个卷积层，内核大小为1×1。采用递归连接的网络的性能彼此相当。

Lim等人[5]提出了增强型深度超分辨率（EDSR）网络，该网络采用剩余块和长跳频连接。EDSR[5]将特征重新缩放了0.1倍，以避免梯度爆炸。EDSR对所有之前的方法进行了大幅改进。最近，Ahn等人[8]提出了级联剩余网络（CARN），它还使用了一种不同的剩余块，即与通常使用的两个具有级联连接的卷积层相比，具有三个卷积层。CARN[8]在峰值信噪比方面落后于EDSR[5]。

在Huang等人在DenseNet[24]中提出的用于图像分类的密集连接架构取得成功的推动下，超分辨率网络将重点放在密集连接上，以提高性能。例如，SRDenseNet[14]利用密集连接，其中块中的每个卷积层都对所有先前卷积层的输出进行操作。为了对特征进行进一步取样，SRDenseNet[14]对块进行顺序排序，然后在网络末端对反褶积层进行排序。同样，Zhang等人[15]提出了一种剩余稠密网络（RDN），通过稠密连接从图像中学习局部特征。此外，为了避免梯度消失，并便于信息从低层流向高层，RDN[15]采用了跳跃连接。最近，DDBPN[18]旨在通过前馈过程建立反馈机制模型；因此，一系列密集连接的上采样层和下采样层被用作单个块。为了预测最终的超分辨率图像，还将连接中间块的输出。

为了在多个尺度上获得不同的特征，提出了多分支网络[25]、[26]、[27]。Ren等人[25]在具有不同层数的不同分支机构中使用SRCNN[28]，以独特地学习特征，最后使用汇总层将其组合。类似地，Hu等人[26]提出了由子网组成的级联多尺度交叉网络。每个子网都有由两个并行分支组成的合并和运行单元，每个分支都有两个卷积层。批次归一化和Leaky ReLU[29]遵循合并和运行单元中的每个卷积层。

与多分支相比，Lai等人[10]提出了一种多级网络，其中每个子网络逐步预测的剩余输出高达8×因子。

为了提高图像的视觉质量，生成对抗网络（GANs）[30]，[31]旨在通过超分辨率提高感知质量。这方面的第一个令人兴奋的工作是SRResNet[16]，其中生成器由类似于[32]的剩余块组成，在鉴别器完全卷积的情况下，从输入到输出之间有跳跃连接。

SRResNet[16]结合了三种不同的损失，包括感知损失、对抗损失和“2”损失。接下来，为了创建忠实于原始图像的纹理，EnhanceNet[33]使用了一种额外的纹理匹配损失和上述损失。此损失旨在通过“1”将低分辨率和高分辨率补丁的纹理匹配为从深层特征计算的gram矩阵。

与[33]类似，为了生成更逼真的超分辨率图像，Park等人[34]提出了SRFeat，它利用额外的鉴别器来帮助生成器。SRFeat[34]的结果明显好于[33]。受[16]网络的启发，ESRGAN[35]删除了批次归一化，并在同一段的卷积层之间使用了密度连接。

集成了全局跳过连接以进行剩余学习。

此外，改变了发生器的元件，使用了一种增强型鉴别器，即相对论GAN[36]来代替传统鉴别器。ESRGAN[35]在当前的超分辨率GAN算法中性能最好。此外，与CNN竞争对手相比，GAN超分辨率模型显著提高了感知质量。

视觉注意力[37]主要用于图像分类。这一概念由RCAN[7]引入图像超分辨率，它使用通道注意机制来建模通道间依赖关系，并与剩余块组的叠加相结合。如前所述，RCAN的PSNR值[7]是所有算法中最好的。与RCAN[7]平行，Kim等人[17]提出了一种双重注意机制，即超分辨率剩余注意模块（SRRAM）。

SRRAM[17]的深度相对小于RCAN[7]，在PSNR数值上落后于RCAN[7]。另一方面，我们的方法在视觉上和数量上都改进了RCAN[7]，方法是利用紧密连接的剩余块，然后使用不同级别的跳跃和级联连接进行多尺度关注。

 拟议网络的详细网络架构。上图显示了我们提出的网络的总体架构，剩余架构上有级联剩余，即长跳转连接、短跳转连接和级联结构。下图显示了我们网络的主干，即稠密残余拉普拉斯模块（DRLM）。

---