Deep Residual Network with Enhanced Upscaling Module for Super-Resolution 文章的解读

Deep Residual Network with Enhanced Upscaling Module for Super-Resolution

文章地址: https://arxiv.org/pdf/1707.02921.pdf

网络结构

(i) 文章的主要新意在红色的圆角矩形内，网络结构分成了两个部分，一是特征提取部分，二是放大尺寸的重建部分。

(ii) 特征提取部分是一层的浅层特征提取，再加上残差块。

(iii) 残差块中又包含若干个局部残差块，局部残差块的内部结构是两层卷积再加上两者中间的一个ReLU激活函数。

(iv) 前面的部分是很普通的特征提取块，可以再加上密集，循环之类的操作。

(v) 后边的部分中的红色圆角矩形中使用ESPCN的PixelShuffle(像素重组)，来放大图片的尺寸，在pytorch里面有特定的操作。

(vi) 上面的后半部分的网络结构不是本文的，接下来介绍本文的。

我们可以很清楚的看到，上面的PixelShuffle操作的输入有了很大的不同，之前部分的输入仅仅是灰色部分经过卷积的输出，但是下边部分是希望每经过一次残差块的输出都能够作为PS 的输入，这样就能够充分利用不同深度的特征图。能够使用不同的东西要比只是用一种东西要好，我们的想法是这样，但是我觉得里面存在一些问题，每个部分的特征图的数量是一样的，我觉得这里可以使尝试着改进一下，就是可以让通道数不一样，这样我们就能够知道，深层和浅层特征图对重建图像的贡献。

网络结构使用的是EDSR的升级版MDSR，能够实现多尺度图像的重建效果。

重建的PSNR效果还行，但是还是比不上EDSR。我觉得文章只是提出了一个新的方法在构造重建部分。