题目: Enhanced Deep Residual Networks for Single Image Super-Resolution
**
用于单一图像超分辨率的增强型深度残差网络
- 摘要
近期关于超分辨率(super-resolution)的研究已经随着深度卷积神经网络(DCNN)的发展而进步了。残差学习的方法(residual learning )尤其能展现出其性能表现的提升。在本篇论文中,我们研发了一种增强型深度超分辨率网络(enhanced deep super-resolution network —— EDSR),其性能表现超越了那些当前最新型的 SR 方法。我们的模型之所以有显著的性能提升是因为我们在优化时去除了传统残差网络中的不必要模块。另一个原因就是,在使训练过程保持稳定的情况下,我们扩展了模型的规模 。我们也提出了一种新型的多尺度深度超分辨率系统(multi-scale deep super-resolution system —— MDSR)和训练方法,它可以在一个单一模型中,对比例因子(upscaling factors)不同的超分辨率图像进行重构。这种方法在基准数据集中展现了超过当前一流方法的优越性能,并且通过赢得 NTIRE2017 超分辨率挑战赛证明了它的卓越性。
介绍
图像超分辨率(SR)问题,尤其是单一图像超分辨率(SISR)问题,在近几十年中已经受到了广泛的研究关注。SISR 问题旨在从一个单一低分辨率图像中重构出一个高分辨率图像。通常情况下,低分辨率图像和原始的高分辨率图像可根据情境而产生变化。很多研究都假设低分辨率图像是高分辨率图像的双三次降采样结果。但是在实际应用中,也可以考虑其他退化因素,如模糊、抽取或噪声。
最近,深度神经网络在 SR 问题中的峰值信噪比(PSNR)方面带来了很大的性能提升。然而,这种网络也在结构最优化原则(architecture optimality)中暴露了其局限性。首先,神经网络模型的重构性能对小型架构的变化敏感。同样的模型通过不同的初始化和训练技术会有不同的性能水平。因此,需要精心设计的模型架构和复杂的优化方法来训练神经网络。
其次,大多数现有的SR算法将不同尺度因子的超分辨率作为独立问题,不考虑和利用SR中不同尺度之间的相互关系。因此,这些算法需要许多规模特定的网络,需要独立地训练来处理各种尺度。特别地,VDSR可以在单个网络中联合处理多个尺度的超分辨率。使用多个规模训练VDSR模型可大幅提升性能,优于特定尺度的训练。 尽管如此,VDSR风格架构需要双三次插值图像作为输入,与具有比例特定上采样方法的架构相比,导致更大的计算时间和内存。
虽然SRResNet成功地解决了具有良好性能的时间和内存问题,但它只是采用了He等人的ResNet架构。 没有太多的修改。 然而,原来的ResNet被提出来解决更高级别的计算机视觉问题,如图像分类和检测。 因此,将ResNet架构直接应用于超级分辨率等低级视觉问题可能不是最佳的。
为了解决这些问题,基于SRResNet架构,我们首先通过分析和删除不必要的模块进行优化,以简化网络架构。当模型复杂时,训练网络变得不重要。因此,我们利用适当的损失函数和仔细的模型修改来训练网络。 我们实验表明,修改后的方案产生更好的结果。
第二,我们调查了从其他尺度训练的模型进行知识的转移的模型训练方法。为了在训练过程中利用与尺度无关的信息,我们从预训练的低尺度模型中训练大尺度模型。此外,我们提出了一种新的多尺度架构,其共享了不同尺度的大多数参数。所提出的多尺度模型与多个单尺度模型相比明显使用较少的参数,但是表现更好的性能。
我们在标准基准数据集和新提供的DIV2K数据集上评估我们的模型。所提出的单个和多级超分辨率网络在PSNR和SSIM方面显示了所有数据集的最新性能。我们的方