SR综述文章阅读--上采样--网络设计

一、四种上采样网络架构

• 预先上采样：先利用插值法上采样到指定大小，再利用CNN学习LR与HR之间的映射。
  优点：
  （1）与传统方法相比，深度cnn只需要对粗图像进行细化，大大降低了学习难度；
  （2）可以采用任意大小和比例因子的插值图像作为输入；
  缺点：
  （1）预先上采样方法往往会带来一些副作用(例如噪声放大和模糊)；
  （2）而且由于大多数操作都是在更大的feature map中执行的，所以时间和空间的成本要比其他框架高得多；
• 后上采样：利用CNN直接对LR提取特征，最后上采样。
  优点：
  （1）计算量小；
  （2）端到端，操作简单
  （3）效果好，成为如今的主流框架；
• Progressive Upsampling（逐步上采样）
  如LapSRN，ProSR：A fully progressive approach to single-image super-resolution
  优点：
  （1）通过多次上采样实现分辨率的提升，对于大尺度的放大因子来说，单次上采样学习的难度很大，逐步上采样可以在大尺度放大因子时得到很好地效果；
  （2）可以一步得到多个尺度的放大结果；
• 迭代上下采样
  如:DBPN
  优点：
  （1）该框架下的模型能够更好地挖掘出LR-HR图像对之间的深层关系，从而提供更高质量的重建结果。
  缺点：
  （1）设back-projiction设计标准尚不明确。DBPN中使用的反投影单元结构非常复杂，需要大量的人工设计。
  （2）由于该机制刚刚被引入到基于深度学习的超分辨率中，因此该框架具有很大的潜力，需要进一步的探索。
  

二、上采样方法

• Nearest-neighbor Interpolation(最近邻插值法)：
  为要插入的每个位置选择最近的像素值，而不考虑任何其他像素。因此，这种方法是非常快的，但通常产生块状的低质量的结果；
• Bilinear Interpolation(双线性插值)
  在两个方向上各做一次线性插值，详见：https://blog.csdn.net/qq_37577735/article/details/80041586
• Bicubic Interpolation（双三次插值）
  在两个方向上分别做一次三次插值（cubic），与双线性插补相比，双三次插补需要4×4个像素进行计数，从而产生更平滑的结果，插补工件更少，速度更慢。
• Transposed Convolution（反卷积）
• Sub-pixel layer（亚像素卷积）
  

一、残差学习

（1）全局残差学习

CNN只需要学习LR和HR之间的高频残差，而避免学习完整的图片。由于大部分区域的残差接近于零，大大降低了模型的复杂度和学习难度。如VDSR，DRRN，MemNet，IDN。。。

（1）局部残差学习

局部残差学习是用来缓解网络深度增加带来的模型退化问题。如RCAN，EDSR

二、递归学习

（1）为了在不引入大量参数（参数共享）的情况下实现更大的接受域（reception field）和更高层次的特征学习，将递归学习引入超分辨率域，即以递归方式多次应用相同的模块提取特征。
（2）递归结构可以更紧凑的表示深层网络。
代表：DRCN，DRRN，MemNet，CARN（efficient版本），DSRN。
DSRN：Dual-State Recurrent Networks（双状态递归网络）：同时在LR和HR两个空间分辨率上利用递归结构提取特征，LR和HR之间利用军妓和反卷积进行上下采样。

二、多路径学习（multi-path learning）

Global Multi-path Learning（全局多路径学习）

利用多条路径提取图片不同方面的信息。这些路径在传播过程中可以相互交叉，大大提高了特征提取的能力。
（1）LapSRN：包括一个特征提取路径，以一种由粗到细的方式预测子带残差，以及一个基于两条路径的信息流来重建可见HR图像的图像重建路径。
（2）DSRN分LR和HR两条路径，这两条路径不断交换信息，进一步提高学习能力。；
（3）Image super resolution based on fusing multiple convolution neural networks：使用多个具有不平衡结构的路径来执行上采样，并在模型的最后融合它们；

Local Multi-path Learning（局部多路径学习）

在局部残差块内部进行，利用不同尺度的卷积核提取在不同路径提取不同尺度的特征。

Scale-specific Multi-path Learning.（特定尺度的多路径学习）

代表：EDSR，CARN，ProbSR

密集连接

（1）密集连接不仅有助于减缓梯度消失，增强信号传播，促进特征复用，而且通过使用小的growth rate（密集块中的通道数）和拼接后的压缩信道，大大减少了参数的数量。
（2）融合低层和高层的功能，为重建高质量的细节提供更丰富的信息；
代表：SRDenseNet, MemNet, CARN , RDN and ESRGAN .

通道注意力

代表RCAN

先进的卷积方式

（1）组卷积：CARN-M利用组卷积模型复杂度。
（2）扩张卷积（Dilated Convolution）
文章：Learning deep cnn denoiser prior for image restoration：众所周知，在超分辨率图像中，背景信息有助于生成逼真的细节。因此，Zhang等[104]将SR模型中常见的卷积替换为膨胀卷积，将接受域增加两倍以上，最终获得更好的性能。

Pixel Recursive Learning（像素递归学习）

大多数SR模型将SR看作是一个与像素无关的任务，因此不能很好地理解生成的像素之间的相互依赖关系。Dahl等（Conditional image generation with pixelcnn decoders）。受到PixelCNN的启发，（Pixel recursive super resolution
）首先提出了像素递归学习，利用两个网络分别捕获全局上下文信息和序列生成依赖关系，逐像素生成。这样，该方法在超分辨非常低分辨率的人脸图像上合成了逼真的毛发和皮肤细节，远远超过了以往的MOS测试方法。

金字塔池化

Zhao等（Pyramid scene parsing network）提出了金字塔池模块，以更好地利用全局和局部上下文信息。具体来说，对于大小为hwc的feature map，每个feature map被划分为M M个bin，并通过global average pooling，得到M M c输出。然后进行11个卷积，将输出压缩到一个通道。然后通过双线性插值将低维特征图上采样到与原始特征图相同的大小。通过使用不同的M，该模块可以有效地集成全局和局部上下文信息。通过加入该模块，（Efficient module based single image super resolution for multiple problems）EDSR-PP模型[113]进一步提高了性能。

小波变换

在小波域内完成重建任务。
代表：DWSR Wavelet-SRNet ，MWCNN 。。