Enhanced Deep Residual Networks for Single Image Super-Resolution

NTIRE2017年冠军(EDSR)。

本文提出了两个网络，第一个是单尺度的增强深度超分网络（EDSR），第二个是多尺度深度超分系统（MDSR）。

针对的主要问题有两个：

1. 模型调优；
2. 现有的SR方法没有利用图像多尺度之间的相互关系。虽然VDSR可以可以单网络处理多尺度，但是要求以双三次插值的图片为输入，相比于特定尺度的上采样方法增加了计算量和内存。SRResNet虽然可以处理时间和内存问题，但是没有对原来的ResNet做出改进，将原本用于处理高层视觉问题的ResNet用于底层视觉问题欠佳。

本文在SRResNet的基础上进行模型修改并使用合适的损失函数，为了利用不同尺度的信息，使用预训练的低尺度模型去训练高尺度模型，并且提出了多尺度结构用于共享不同尺度之间的大多数参数。

提出的方法：

去除BN

   由于批标准化会对特征进行标准化，丧失了特征的范围柔性，并且会增加内存消耗，所以对其进行去除；

 单尺度模型：

一般情况下模型参数量越多模型的表达能力更好，当计算资源有限时，增加特征的通道数而非层数可以最大化模型的能力。但是某一层的特征图的数量增加会使训练不稳定，通过因子为0.1的残差缩放（residual scaling，即在将残差与原特征图相加之前，让残差乘以一个0到1之间的缩放因子）解决这个问题。

baseline模型每一个卷积层只有64个特征图，所以没有残差缩放层。最终的模型有32个残差块，256个特征通道，缩放因子0.1。

当上采样因子为x3和x4时，使用预训练的x2网络初始化模型参数，使训练更快收敛。

多尺度模型：

 baseline模型有16个残差块的单一主分支，为了减小不同尺度输入图像的方差，预处理模块包含两个使用5x5卷积核的残差块，最后特定尺度的上采样模型并行地处理多尺度重建。最终的MDSR模型有80个残差块和64个特征通道，与单尺度模型具有可比的表现，并且在深度层面具有可扩展性。