Multi-scale Residual Network for Image Super-Resolution 文章的解读

MSRN: Multi-scale Residual Network for Image Super-Resolution（多尺度残差网络）

论文地址：http://openaccess.thecvf.com/content_ECCV_2018/papers/Juncheng_Li_Multi-scale_Residual_Network_ECCV_2018_paper.pdf

网络结构：

网络结构分成两个部分，一是特征提取部分，二是重建部分。这篇文章读的比较懂，所以可以多说一点。

(i) 特征提取部分分成两个部分，一是多尺度残差块(MSRB)，二是前面的M0，M0是MSRB之前的部分。

(ii) 第一层卷积M0是用做初步的特征提取。

(iii) 之后的M1到Mn的内部结构是一模一样的。文中最重要的部分在这里，就是多尺度的概念，这里的多尺度指的是卷积核大小。

(iv) 接下来，到了特征提取和重建中间的部分，在这里，将之前所有多尺度残差块的输出以及M0都“排队”到这里。

(v) 然后，用了通道压缩的函数，将之前“排队”得到的结果压缩成我们想要的数量，这里的数量和我们想要重建图像的大小有关系。

(vi) 最后，使用Pixel Shuffle(像素重组)ESPCN里的技术将图像扩大尺寸，在经过一个卷积层，得到最后的重建图像。

 

多尺度残差块(MSRB)

Multi-scale

这里需要讲一下卷积核的作用，卷积核也就是在图像中的“滤波”。图像中的滤波在做卷积运算的时候，能够实现对图像特征的提取。而不同大小的卷积核能够提取到的图像特征是不同的，所以在同一个网络中使用两种卷积核，那么不同的特征就能够在一个网络中得到，进而实现图片更高超分辨率的要求。

MSRB

这里我们讲一下n=1的情况，这里的输入是经过第一层的M0，分成两个部分，一边是3x3的卷积核，另一边是5x5的卷积核。通过之后，将两部分的输出串(concat)在一起，特征图的通道数是之前的两倍。而这里作为后部分的输入，和之前一样，再做一遍。之后得到的通道数是开始的4倍，要想实现残差的操作，必须将通道数变成和开始的输入一样。所以后面的1x1的卷积核实现的是将特征图的通道数压缩，最后再加上残差的操作。输出的是M1

                                                                       

                                                                       

                                                                       

                                                                       

                                                                         

                                                                               

重建部分

重建部分有很多种情况

这里将重建部分设计的比较简单，将之前的A.B.C部分进行简化，得到最后的结果。这里在我看来没有什么新意，就是将一些没什么用的部分剔除掉了。

 

实验细节：

使用DIV2K数据集，然后再加上旋转，翻转之类的操作来增加训练的数据集。然后将图片转成YCbCr通道，然后再将Y通道的图片提取出来，作为训练的数据集。

由于实验室的硬件条件，我这里实现不了900张数据库的数据增强，所以就只使用291张的图片，再做数据的增强，目前结果还没有出，出了之后，会公布在这里。

另外文中也实现了图像的去噪和去雾的实验，展现了MSRB特征提取能力。

如果有错误，希望批评指正。

我会随时补充的。