图像超分辨率综述：Deep Learning for Image Super-resolution: A Survey 阅读笔记

Deep Learning for Image Super-resolution: A Survey

本文是2019年发表的一篇图像超分辨率综述文章。
paper：Deep Learning for Image Super-resolution: A Survey

简介

本文的目标在于对近几年基于深度学习的图像超分辨率方法进行全面的介绍。
现有的基于深度学习的图像超分方法可以大致分为以下三类：有监督的SR、无监督的SR和特定领域的SR。此外，本文还对一些重要的概念进行了说明，比如超分领域常用的公开数据集、重建质量评估方法等。

问题简介和术语

问题定义

Ix =D(Iy;δ) Ix是低分辨率图像，Iy是高分辨率图像，D是下采样过程，δ是参数（下采样因子/噪声）。
超分辨率重建过程可以由下式表示：

Iˆy是重建图像，F是超分辨率模型，θ是F的参数。
大多数模型的LR数据集都是通过对HR数据做简单下采样（其中最常用的是bicubic插值）得到的，然而，有的模型会采用更复杂的降质（Degradation）方法：

上式中k代表模糊核，nς代表高斯加性白噪声；经过此方法产生的图像会更加接近真实图像，对后续的重建操作更有益。

数据集

下表展示了图像超分辨率任务中常用的数据集，并分别列出了各数据集的图像数量、平均尺寸、图像格式等。

图像质量评估方法

峰值信噪比PSNR（objective）
结构相似性SSIM（objective）
平均主观意见分MOS（subjective）

操作通道

常见的图像颜色模型包括RGB和YCbCr，早期的一些模型会选择对YCbCr中的Y通道进行操作，最近的一些模型则倾向于对RGB通道进行超分处理。值得一提的是，颜色模型的选取会很大程度上影响最终的生成效果。

有监督的超分方法

超分网络框架

有监督方法的基础是LR-HR图像对，网络模型的结构多种多样，下面介绍四种常见的结构。

a.pre-upsampling SR

因为直接学习低分辨率图像和高分辨率图像之间的映射过程会比较困难，Dong等人在SRCNN中首次使用了pre-upsampling SR结构，即先对低分辨率图像做上采样操作，使上采样后的图像尺寸与高分辨率相同，然后学习该上采样后的图像和高分辨率图像之间的映射关系，极大地降低了学习难度。但是，预先上采样通常会带来副作用（例如，噪声放大和模糊），并且由于大多数操作是在高维空间中执行的，因此时间和空间的成本比其他框架要高得多。

b.Post-upsampling SR

为了提高计算效率并充分利用深度学习技术，研究人员提出在低维空间进行大多数的运算，在网络的末端再进行上采样操作。该做法的好处是，由于具有巨大计算成本的特征提取过程仅发生在低维空间中，大大降低了计算量和空间复杂度，该框架也已成为最主流的框架之一，在近年的模型中被广泛应用。

c. Progressive upsampling SR

虽然Post-upsampling SR很大程度上降低了计算难度，但对于比例因子较大的情况（4倍、8倍超分），使用Post-upsampling SR方法有较大的学习难度。而且，对于不同比例因子，需要分别训练一个单独的SR网络模型，无法满足对多尺度SR的需求。Progressive upsampling SR 框架下的模型是基于级联的CNN结构，逐步重建高分辨率图像。在每一个阶段，图像被上采样到更高的分辨率，Laplacian金字塔SR网络（LapSRN）就采用了上述框架。通过将一个困难的任务分解为简单的任务，该框架下的模型大大降低了学习难度，特别是在大比例因子的情况下，能够达到较好的学习效果。然而，这类模型也存在着模型设计复杂、训练稳定性差等问题，需要更多的建模指导和更先进的训练策略。

d.Iterative up-and-down Sa