简话S R(持续更新）

根据升采样（upsampling）在网络结构中的位置和使用方式，可以把超分网络结构设计分为四大类：前端升采样（pre-upsampling）超分网络、后端（post-upsampling）升采样超分网络、渐进式升采样（progressive upsampling）超分网络、升降采样迭代式（iterativeup-and-down sampling）超分网络。

目前基于深度学习（主要还是CNN）最为经典的论文应该是SRCNN[1]、FSRCNN[2]、ESPCN[3]、VDSR[4]、EDSR[5]、SRGAN[6]这几篇论文。

从SRCNN到FSRCNN

SRCNN是最早用CNN来进行超分辨率重建的论文（Kaiming He也参与其中），FSRCNN是SRCNN作者的改进，主要贡献在于直接原图像进行端对端的重建，在速度上也非常快，如图。

重新设计SRCNN结构，主要 在三个方面：一是使用了一个解卷积层在最后，这个作用是从没有差值的低分辨率图像直接映射到高分辨率图像。第二是，重新改变输入特征维数。第三是使用了更小的卷积核但是使用了更多的映射层。

ESPCN优化上采样方法

亚像素卷积（subpixel convolution）

如图，ESPCN主要提出了subpixel convolution的方法，这种方式在之后很多方法的上采样重建中都有被使用（NTIRE2017的超分辨率冠军EDSR也采用了该方法）。

pixelshuffle算法

pixelshuffle算法的实现流程如上图，其实现的功能是：将一个H × W的低分辨率输入图像（Low Resolution），通过Sub-pixel操作将其变为rH x rW的高分辨率图像（High Resolution）。
但是其实现过程不是直接通过插值等方式产生这个高分辨率图像，而是通过卷积先得到 r^2 个通道的特征图（特征图大小和输入低分辨率图像一致），然后通过周期筛选（periodic shuffing）的方法得到这个高分辨率的图像，其中r rr为上采样因子（upscaling factor），也就是图像的扩大倍率。

VDSR引入全局残差