文章目录
根据升采样(upsampling)在网络结构中的位置和使用方式,可以把超分网络结构设计分为四大类:前端升采样(pre-upsampling)超分网络、后端(post-upsampling)升采样超分网络、渐进式升采样(progressive upsampling)超分网络、升降采样迭代式(iterativeup-and-down sampling)超分网络。
目前基于深度学习(主要还是CNN)最为经典的论文应该是SRCNN[1]、FSRCNN[2]、ESPCN[3]、VDSR[4]、EDSR[5]、SRGAN[6]这几篇论文。
从SRCNN到FSRCNN
SRCNN是最早用CNN来进行超分辨率重建的论文(Kaiming He也参与其中),FSRCNN是SRCNN作者的改进,主要贡献在于直接原图像进行端对端的重建,在速度上也非常快,如图。
重新设计SRCNN结构,主要 在三个方面:一是使用了一个解卷积层在最后,这个作用是从没有差值的低分辨率图像直接映射到高分辨率图像。第二是,重新改变输入特征维数。第三是使用了更小的卷积核但是使用了更多的映射层。
ESPCN优化上采样方法
亚像素卷积(subpixel convolution)
如图,ESPCN主要提出了subpixel convolution的方法,这种方式在之后很多方法的上采样重建中都有被使用(NTIRE2017的超分辨率冠军EDSR也采用了该方法)。
pixelshuffle算法
pixelshuffle算法的实现流程如上图,其实现的功能是:将一个H × W的低分辨率输入图像(Low Resolution),通过Sub-pixel操作将其变为rH x rW的高分辨率图像(High Resolution)。
但是其实现过程不是直接通过插值等方式产生这个高分辨率图像,而是通过卷积先得到 r^2 个通道的特征图(特征图大小和输入低分辨率图像一致),然后通过周期筛选(periodic shuffing)的方法得到这个高分辨率的图像,其中r rr为上采样因子(upscaling factor),也就是图像的扩大倍率。