（EDSR）CVPR-2017：Enhanced Deep Residual Networks for Single Image Super-Resolution

增强的单图像超分辨率深度残差网络；CVPR，2017

代码：https://github.com/LimBee/NTIRE2017 

主要问题

大多数现有的SR算法将不同尺度因子的超分辨率视为独立问题，这些算法需要许多尺度特定的网络，需要独立训练以处理各种尺度。

VDSR可以在单个网络中处理多个尺度的超分辨率，但是，VDSR的体系结构需要双三次插值图像作为输入，这导致与使用特定比例上采样方法的体系结构相比，计算时间和内存更大。

方法

• 在SRResNet架构的基础上进行优化，通过分析和删除不必要的模块来简化网络架构
• 提出了一个新的多尺度结构，在不同尺度共享大部分参数

使用单尺度体系结构（EDSR）处理特定的超分辨率比例，使用多尺度体系结构（MDSR）在单个模型中重建各种比例的高分辨率图像。

三种模型的残差块比较

 本文网络中删除了批处理归一化层（BN）。

由于批处理归一化层对特征进行归一化，通过对特征进行归一化，消除了网络的范围灵活性，因此最好将其删除。

由于批处理归一化层消耗的内存与前面的卷积层相同，内存使用也得到了降低。与SRResNet相比，没有批处理归一化层的模型在训练期间节省了大约40%的内存。

Single-scale model

作者认为提高网络模型性能最简单的方法是增加参数的数量。可以通过增加层数（B）或增加滤波器（F）的数量来提高模型性能。

通过增加滤波器的数量（宽度）而不是层数可以使模型容量最大化。但是宽度的数量超过一定水平会使训练过程在数值上不稳定。

本文采用因子为0.1的残差缩放来解决这个问题。在每个残差块中，在最后的卷积层之后放置常数缩放层。

单尺度模型 

（1）单尺度baseline model

如图2.(c)，不含残差缩放层，因为每个卷积层只使用64个卷积核。

（2）EDSR

扩展的baseline model。在最终的单比例模型（EDSR）中，设置B=32，F=256和残差缩放层的比例因子0.1

在对模型进行上采样因子×3和×4的训练时，使用预先训练的×2网络来初始化模型参数，这样训练收敛速度比从随机初始化开始的要快得多。

如下图比较结果：绿线为从头开始随机初始化训练的性能，蓝线为使用预训练的×2网络来初始化训练的性能，红线为绿线的做好性能。

作者得出的结论：多尺度下的超分辨率是相互关联的任务。

Multi-scale model

多尺度模型

（1）多尺度baseline model

如图5，将基线（多尺度）模型设计为具有单个主分支和B=16个残差块，以便大多数参数在不同尺度上共享。 

在多尺度体系结构中，引入了特定尺度的处理模块来处理多尺度下的超分辨率。

首先，预处理模块位于网络的前端，以减少不同尺度输入图像的方差；每个预处理模块由两个残差块组成，残差块的核为5 × 5。在多尺度模型的末尾，并行放置了特定尺度的上采样模块，以处理多尺度重建。

（2）最终的多尺度模型（MDSR），B=80，F=64。

训练

（1）对于单比例模型（EDSR），按照×2模型从头开始训练。在模型收敛后，将其用作其他尺度的预训练网络。

（2）在每次更新训练多尺度模型（MDSR）时，使用在×2、×3和×4之间随机选择的尺度构建小批量。仅启用和更新与所选尺度对应的模块，即，不是所选尺度的特定尺度残差块和上采样模块不会被启用或更新。

几何自集成策略

①在测试期间，对于每一个LR图像样本X，通过翻转和旋转X，为每个样本生成 7 个增强输入X1~X7，再加上原始图像本身，共8种，记为X1~X8。

②利用这些增强的LR图像，使用网络生成相应的HR图像y1~y8。

③对这些HR图像进行逆变换，获得原始的几何图像Y1~Y8。

④最后，将所有转换后的HR图像Y1~Y8平均，Y = 1/8 * (Y1 + Y2 + ...... + Y8)。

使用自集成策略的网络用“EDSR+”和“MDSR+”来表示。

模型总结

 评估

on the DIV2K dataset

作者说：最小化L2通常是首选的，因为它最大化了PSNR。但是，基于一系列实验，经验发现L1损失比L2提供更好的收敛性。

 结论：使用L1训练的SRResNet比使用L2训练的原始SRResNet的结果稍好。最终的使用几何自集成技术的模型EDSR+和MDSR+的性能更好。

 结论：

与其他方法相比，我们的模型表现出显著的改进；

在使用自集成技术后，性能差距进一步增大；

与以前的工作相比，所提出的模型成功地重建了HR图像中的细节纹理和边缘，并显示出更好的SR输出。

总结

提出了增强的单图像超分辨率深度残差网络，通过从传统的ResNet体系结构中删除不必要的模块，在使模型紧凑的同时实现了改进的结果；

采用残差缩放技术来稳定地训练大型模型；

提出的单尺度模型超越了现有模型，实现了最先进的性能；

开发了一个多尺度超分辨率网络，以减少模型大小和训练时间，多尺度模型具有尺度相关模块和共享的主网络，能够在统一的框架内有效地处理各种尺度的超分辨率。