Multi-scale Residual Network for Image Super-Resolution

论文原址：MSRN

0 Abstract

之前的研究显示深度神经网络能极大提升单幅图像超分辨率的质量。为了获得更好的重建效果，当前的研究趋势是使用更深的卷积神经网络。但是盲目增加网络层数并不能有效改进重建效果，更糟糕的是随着网络层数的增加在训练过程中会出现更多问题而且需要更多的训练技巧。在本文中，作者提出了一种新颖的模型叫做multiscale residual network (MSRN)，该模型能充分利用图像特征，其重建效果比当今大多数先进方法都好。基于残差块，作者提出使用不同大小的卷积核分别提取不同尺度的图像特征。而且，作者将提取的不同尺度特征进行融合从而获得更有效的图像信息，将这个提取特征以及融合的模块称为Multi-scale Residual Block (MSRB)。会将每个MSRB的输出作为不同层次的特征进行全局特征融合。最后这些特征被送入重建模块获得高分辨率图像。

1 Introduction

单幅图像超分辨率（single-image super-resolution, SISR）主要任务是在给定低分辨率图像（LR）的情况下重建对应的高分辨率图像（HR）。自从SRCNN以来，基本上都是使用CNN进行超分辨率重建，而且其趋势是卷积层越来越深而且结构越来越复杂，所以训练这些模型需要越来越多的资源、时间和技巧。而且现有的超分模型有以下三个问题：

a、很难复现（Hard to Reproduce）：

复现模型得到的结果表明，大多数SR模型对网络结构变化很敏感，部分模型甚至无法达到论文中提到的效果。此外还有一些模型，如果对它使用不同的训练技巧（比如权重初始化，梯度裁剪，数据归一化）会得到不同重建效果。这意味着，重建效果可能不是由于模型改变而提升，而是使用了某些不知道的训练技巧。

b、特征利用不足（Inadequate of Features Utilization）：

大部分的模型只是通过盲目的增加模型的深度而获得更好的效果而忽视了好好利用LR图像特征。随着网络深度的增加，特征会在传播过程中逐渐消失，而利用好这些特征却是重建HR图像的关键。

c、可扩展性不足（Poor Scalability）：

使用预处理的LR图像作为输入不仅会增加计算复杂性而且会产生可见的伪影。因此，最近的方法都是直接在LR图像放大重建，结果就是SR模型很难适应任意的缩放因子，或者说只需要对网络结构进行小调整就可以迁移到任何缩放因子。

为了解决上面三个问题，作者提出了MSRN，该模型首先使用MSRB获得不同尺度特征，这些特征可以看成局部多尺度特征；然后，对每个MSRB的输出融合得到全局特征；最后，全局特征和局部特征结合起来能最大化利用低分辨率图像特征并且解决传播过程中梯度消失的问题，使用一个简单而有效的重建结构从而得到高分辨率图像。
作者在DIV2K数据集上进行训练，并且没有使用任何权重初始化方法和其他训练技巧，而且如果增加MSRB模块的数量能获得更好的结果。主要创新点如下：

• 本文提出的MSRB不仅能提取出图像特征，而且还能融合不同尺度的特征；
• 本文提出的多层次特征融合（hierarchical features fusion, HFFS）简单有效而且能适应任何缩放因子；

2 Related Work

2.1 Single-image Super-resolution

刚开始使用插值的方法解决SR问题，之后冲Dong等人提出了SRCNN后，现在基本上都是基于CNN的超分辨率重建模型，SRCNN需要使用插值预处理输入LR图像，即把LR图像放大到输出图像的大小，但是这样会导致计算复杂度提升以及伪影的出现，之后提出的FSRCNN解决了需要预处理的问题，而VDSR则是引入了残差结构以及深层CNN。

2.2 Feature Extraction Block

特征提取模块主要都是由上面三个基本模型组合而成。

3 Proposed Method

在超分辨率中，我们的目的是从低分辨率图像$I^{LR}$得到对应的超分辨率图像$I^{SR}$，高分辨率图像$I^{HR}$是通过双三次插值得到$I^{HR}$。作者将图像转化为YCbCr通道，并且只在Y通道上训练。将$I^{LR}$记作W × H × C，$I^{HR}$和$I^{SR}$记作rW × rH × C，其中C=1，表示Y通道，r表示缩放因子。
最终目标是学习 I L