EDSR（Enhanced Deep Residual Networks for Single Image Super-Resolution）

2017年NTIRE图像超分辨率重构大赛中, 首尔大学SNU CVLab[38]团队获得了冠军, 他们提出了EDSR(Enhanced Deep Residual Networks for Super-Resolution)模型. 它在残差网络的基础上进行了改进, 去掉了批归一化(Batch Normalization,
BN)层. BN层用于解决高级图像问题如图像分类、检测等比较有效, 而图像超分辨率重构属于底层问题, 去掉BN层可以节省一半的内存和计算时间, 且重构效果良好. 结构如图
网络由一系列残差块RB级联而成, 每个残差块内部不包括BN层, 上采样过程通过像素重排实现,且£4倍数结果可由£2倍数实现, 节省了一部分内存. 同时整个网络采用了L1范数作为损失函数.此外, EDSR模型还提出了一种数据增强策略以提高重构效果, 称为Geometric Self-ensemble. 具体做法是对LR图片进行几何变换, 输入到网络中获取高分辨率图片, 再对其进行相应的逆变换, 所有结果进行平均作为最终的重构结果. 这种策略能够使得网络从不同的“ 视角” 学习高低分辨率图片之间
的映射关系, 从而提高重构效果.EDSR模型在2017年NTIRE图像超分辨率重构
大赛中不仅获得了最好的重构效果, 也具有较快的重构速度, 还提出了一种新的数据增强策略, 是当之无愧的冠军。

摘要

提出了深度超分辨网络（EDSR），达到目前的SOTA水平，论文最主要提升性能的方法是在卷积残差网络里删除了不需要的模块，在稳定训练过程的同时，通过扩大模型的大小提升性能。最后还提出了多尺度深度超分辨系统（MDSR）和训练方法。即通过单个模型来重构不同放缩尺度的图片。

贡献：

• 基于SRResNet，通过删掉不需要的模块来简化模型框架，当模型复杂时，训练网络就变得非常重要，因此，我们对网络进行了适当的损失函数训练，并对训练后的模型进行了细致的修改。实验表明，改进后的方案效果较好。
• 我们研究了模型训练方法，从其他尺度的模型中转移知识。
  为了在训练中利用与尺度无关的信息，我们从预先训练好的低尺度模型训练出高尺度模型。此外，我们还提出了一种新的多尺度体系结构，它可以跨不同的尺度共享大部分参数。与多个单标度模型相比，该模型的多标度误码率显著降低，但性能基本相同。
• 我们在标准基准数据集和新提供的DIV2K数据集上评估我们的模型。所提出的单标度和多标度超分辨率网络在PSNR和SSIM两方面均显示出最优的性能

方法

提出新的残差网络

去掉了BN层，可以加快网络训练，节省内存，还可以提升模型性能。（ saves approximately 40% of memory usage compared to SRResnet）,而且这里在残差块之后未使用ReLU

增加卷积通道数

增加通道比起增加层数在花费一定空间前提下可以增加参数，所以可以更值得用于提升信息。（General CNN architecture with depth (the number of layers) B and width (the number of feature channels) F occupies roughly O(BF) memory with O(BF 2 ) parameters. Therefore, increasing F instead of B can maximize the model capacity when considering limited computational resources.）

EDSR

加入参数乘积层

增加通道数之后会导致训练的数值不稳定，所以我们加入了残差放缩层$\times$ 0.1

MDSR

这里用了主分支，共享参数。用于解决多个放大因子的情况，只需要用一个模型即可解决，而无需针对不同的放大因子进行模型训练。