Densely Residual Laplacian Super-Resolution
Abstract
超分辨率卷积神经网络最近证明了能对单个图像进行高质量的还原。但是,现有算法通常需要非常深的架构和较长的训练时间。 此外,当前用于超分辨率的卷积神经网络无法利用多个尺度的特征并对其进行平均加权,从而限制了它们的学习能力。我们提出了一种紧凑而准确的超分辨率算法,即密集残差拉普拉斯网络(DRLN)。 所提出的网络在残差结构上采用级联残差,以允许低频信息流动从而专注于学习高级和中级特征。此外,我们提出了拉普拉斯人注意力来对关键特征进行建模,以学习特征图之间的层间和层内依赖性。
Introduction
本文的主要贡献:
- 我们提出了紧密连接的残差块和Laplacian注意力网络,以实现精确的图像超分辨率。 我们的网络通过多快捷连接和多级表示实现了更好的性能;
- 我们新颖的设计在残差体系结构上采用了残差级联,可以帮助训练深度网络;
- 我们提出力拉普拉斯注意力,主要有两个目的:1、学习多个子带频率上的特征。2、自适应地重新缩放特征和对特征依赖性进行建模。总的来说提高了特征的捕获能力;
Network Architecture
Cascading Residual on the Residual
在本节中,我们将提供有关残差结构上的级联残差的更多详细信息,该残差结构具有层次结构并由级联块组成。每个级联块都有一个中间跳过连接(MSC),级联特征是串联的,并且由密集的残余拉普拉斯模块(DRLM)组成,每个模块都由密集连接的残余单元,压缩单元和拉普拉斯金字塔关注单元组成。
Dense Residual Laplacian Module
这里建议直接看源码,里面有具体的卷积操作。
Experiments
Conclusion
我们提出了一种用于高精度图像超分辨率的模块化卷积神经网络。 我们还采用各种组件来提高超分辨率的性能。 我们彻底分析并提出对我们网络设计选择的全面评估。
我们在残差结构上采用级联残差,以使用长跳过连接,短跳过连接和局部连接来设计大深度网络。 残差架构上的级联残差有助于低频信息流动,使网络学习高中频信息。 我们使用密集连接的残差块,这些残差块重新使用了先前计算的特征。 这种类型的设置具有多个优点,例如隐式的“深度监督”和从高级复杂功能中学习。 我们还将提出了拉普拉斯注意力,它可以在多个尺度上对基本特征进行建模,并学习特征图之间的层间和层间依赖性。
此外,我们对超分辨率数据集,低分辨率噪点图像和真实图像(未知的模糊降采样)进行了广泛的评估。 我们还显示了Bicubic内核和模糊内核的结果,以证明我们提出的方法的有效性。 此外,我们提出了通过不同方法对超分辨图像进行目标识别的性能。 我们已经说明了网络在图像超分辨率方面的潜力; 但是,我们的网络是通用的,可以应用于其他低级视觉任务,例如图像恢复,合成和转换问题。(言外之意就是泛化能力强)