CV | EDSR: Enhanced Deep Super-Resolution Network增强深度超分网络的论文学习笔记

.

概览

EDSR是一篇经典的超分论文，在NTIRE 2017比赛的超分挑战中获胜，并在2017年发表成文。EDSR对后续的超分算法有很重要的影响，至今（2021年）在学术界也常被引用，同时也很受工业界落地需求的欢迎。下面是EDSR的几个主要创新点：

• 通过去除传统残差网络中不必要的模块，EDSR在效果上获得了显著的提高。
• 通过扩大模型参数、增加模型参数，且同时稳定训练过程，EDSR的效果得到了进一步提升。
• 同时，本文还提出了一个针对不同尺度的深度超分系统MDSR(Multi-Scale Deep Super-Resolution)，该系统可以对图像同时进行不同倍数的放大(x2/x3/x4)。
  

.

解决的问题

所有算法的提出都是为了解决和改进一些问题，EDSR作者发现的问题如下：

• 首先，DNN超分模型的效果性能对模型结构的改变非常敏感，即使模型结构变化很小。
• 其次，大部分现有（2017年前）的超分算法都将不同放大倍数(x2/x3/x4)的超分任务区分为独立的任务来处理，针对不同倍数训练单独的模型。这样的做法忽略了不同放大尺度的超分任务和数据之间的相关性。

.

方法

接下来开始具体的EDSR模型介绍。首先就单一放大倍数的EDSR模型结构进行介绍，然后再介绍多尺度超分结构MDSR。

残差卷积模块 Residual Blocks

通过使用更好的残差卷积块（residual block）提高模型的超分性能。具体细节的比较如下图2所示。

在EDSR的残差block中，作者移除了bn层（batch normalization）。很多后续的超分工作以及图像生成的算法都沿用了这个思路，如Nah在[1]中的分析，bn层会在图像中引入额外的模糊效果。

单尺度超分模型

单尺度（single-scale）的EDSR模型由图2中的residual block构成。整体的模型框架如下图3所示，作者最终设计的EDSR模型卷积层数设为B=32，特征channel数设为F=256。

在训练x3和x4的模型时，使用x2模型的参数进行初始化会加速x3和x4模型的收敛过程。

多尺度模型

这篇文章中的另一个创新点是设计了一个多尺度的超分模型系统（multi-scale），残差卷积模块数B设为16，具体的模型结构设计如下。

各模型结构的参数量对比如下表所示：

.

实验结果

实验结果当然是很好的啦！表格里记录的是EDSR和MDSR与SOTA算法在DIV2K验证集上的性能值（PSNR/SSIM）。

在x4超分任务上的视觉效果比较。

.