用于单图像超分辨率的增强深度残差网络

文章转自（带图）：http://bbit.vip/service/main.php?version=1&type=article&id=92

1. 介绍

本文通过优化删除了传统剩余网络中不必要的模块，取得了相对于传统模型先显著的性能增强。在稳定训练过程的同时，通过扩展模型的大小进一步提高了性能。本文还提出了一种新的多尺度深度超分辨率系统(MDSR)和训练方法，可以在单一模型中重建不同尺度的高分辨率图像。

2.材料和方法

2.1残差块

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MfpaebrG-1602214446398)(SR 4F2.png)]

移除了batch normalization 层，在他们的图像去模糊工作中，由于批处理归一化层对特征进行归一化，它们通过对特征进行归一化消除了网络的范围灵活性，因此最好将其去除。作者通过实验证明，这个简单的修改大大提高了性能。

作者用图2中提出的残差块构建我们的基线(单尺度)模型。该结构类似SRResNet[14]，但是我们的模型在剩余块之外没有ReLU激活层。此外，的基线模型没有剩余缩放层，因为只对每个卷积层使用64个特征地图。在最后的单尺度模型(EDSR)中，通过设置B = 32, F = 256和比例因子0.1来扩展基线模型。模型架构如图3所示。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JJM5Bfey-1602214446402)(SR 4F3.png)]

在对模型进行上采样因子×3和×4的训练时，使用预先训练好的×2网络对模型参数进行初始化。这种预训练策略加速了训练，提高了最终的性能，如图4所示。对于升级4，如果使用一个预先训练好的scale × 2模型(蓝线)，训练的收敛速度比从随机初始化开始的(绿线)快得多。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ye1aYTii-1602214446403)(image-20200810212310793.png)]

3.3多尺度模型

多尺度的超分辨率是相互关联的任务，作者通过构建一个多尺度的体系结构来进一步探索这一思想，该结构像VDSR[11]一样利用了尺度间的相关性。设计的多尺度模型只有一个主分支，其中有B = 16个残差块，这样可以在不同尺度上共享大部分参数，如图5所示。在的多尺度架构中，作者引入了特定的处理模块来处理多尺度下的超分辨率。首先，预处理模块位于网络的前端，减少不同尺度输入图像的方差。每个预处理模块由两个5×5核的残块组成。采用较大的核作为预处理模块，可以在网络早期覆盖较大的接受域的同时，保持特定尺度的部分较浅。在多尺度模型的最后，将特定尺度的上采样模块并行放置，进行多尺度重构。上采样模块的架构类似于前一节中描[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uKLZT0uw-1602214446407)(SR 4F5.png)]述的单尺度模型。

3.结果和讨论

作者在DIV2K、 Set5 , Set14 , B100, 以及Urban100数据集上进行了测试

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-b7PeCO4f-1602214446410)(image-20200810212425774.png)]

结果对比

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3yoiSs31-1602214446412)(image-20200810212510202.png)]

…(img-3yoiSs31-1602214446412)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vSiePzSo-1602214446414)(image-20200810212527278.png)]