RealSR-SR with Multiple Degradations

目前超分在着重解决真实图像SR的问题。本文介绍的多种退化模型（Multiple Degradations）也是为了解决该问题。现实场景中的图像退化是更为复杂的，可能同时包含分辨率、噪声、模糊等问题。该类方法认为：

• 真实数据的退化更为复杂，导致现有基于bicubic退化模型在真实数据上效果很差，所以可以通过考虑更复杂的退化，使模型能够应对更复杂的输入，以求在真实数据上获得更好地重建结果。

因此，该类方法主要从以下两方面入手：

• 设计更复杂的退化模型，让数据更接近于现实数据。
• 设计更复杂的（鲁棒性更强的）重建模型，可以更好地应对复杂的输入。

一、Learning a Single Convolutional Super-Resolution Network for Multiple Degradations （CVPR-2018）

1、出发点

• 现有的基于CNN的SISR方法大多假设低分辨率(LR)图像是从高分辨率(HR)图像中进行双三次降采样的得到，但真实的LR图像的退化更为复杂，不可避免地会导致性能较差。
• 现有模型可扩展性差，很难利用单个模型应对多种退化。

2、主要工作

• 提出能够应对多种退化的SR模型。
• 提出了一种新的维度延伸策略（dimensionality stretching strategy）来解决LR输入图像、模糊核和噪声水平之间的维度不匹配问题。
• 本文方法在合成数据上获得了很好的结果，同时在真实的LR数据上也获得了更好地结果。

3、Degradation Model

x为HR，y为退化得到的LR。

4、Dimensionality Stretching

4、网络结构

二、Blind Super-Resolution With Iterative Kernel Correction （CVPR-2019）

1、出发点

• 上述方法SRMD实际上是非盲的，需要预先知道LR图像的模糊核，在现实场景中仍然是受限的。
• 传统的基于优化的方法，通过优化目标函数，利用自然图像的自相似性来预测模糊核，但是这类方法的预测容易受到输入噪声的影响，导致核估计不准确。
• 本文方法源于对内核不匹配时引起的重建问题的观察。具体来说，如果输入的内核比真实的内核平滑，那么输出的图像将是模糊/过平滑的。反之，如果输入核比正确的核更尖锐，则结果会过度成形，产生明显的振铃效应。

2、主要工作

• 提出基于预测校正原理的盲迭代核校正(IKC)方法，为模糊核的校正提供指导；
• 提出了一种直观有效的深度学习框架用于单图像超分辨率模糊核估计。
• 提出了一种新的基于空间特征变换层（SFT）的多模糊核的非盲SR网络并证明了所提出的非盲SR网络的由于SRMD。

3、网络结构

网络P：由LR图像估计其模糊核
SFTMD：利用当前预测的模糊核h和LR图像预测HR图像
网络C：由预测的模糊核和预测的HR图像估计模糊核的偏差（为什么能实现这个功能还没想通）

4、迭代校正模糊核流程

三、Deep Plug-and-Play Super-Resolution for Arbitrary Blur Kernels （CVPR-2019）

1、出发点：

• 首先，它们在模糊核估计方面存在困难；
• 其次，它们通常是为高斯模糊核而设计的，因此不能有效地处理严重模糊的LR图像。

2、主要工作

• 提出了一种比双三次退化模型更符合实际的SISR退化模型。它考虑任意模糊核，并允许使用现有的去模糊方法进行模糊核估计。
• 将基于数学优化的方法与CNN方法结合，提出了一种深度即插即用超分辨率框架。其中利用数学优化方法去模糊、利用CNN完成去噪和超分，概况就爱可以很好地与现有CNN的SR方法相结合。

3、方法介绍

1、退化模型

2、目标函数

3、将约束整合：

4、变量分离、迭代优化：

5、优化（7），利用FFT求解Z：

6、优化（8），分析公式（8），公式（8）实际上是要从LR图像（bicubic降采样+噪声）中恢复出HR图像，作者在此利用CNN来解决这个问题，这也是本文的一个亮点。基于此，将公式（8）转化为以下问题：

8、总结：
公式(7)解决了模糊问题，它将当前的估计拉到不那么模糊。公式(8)映射较少模糊的图像到一个更干净的HR图像。经过多次交替迭代（7）和（8），最终重建的HR图像没有模糊和噪声。

四、Deep Unfolding Network for Image Super-Resolution （CVPR2020）

五、Flow-based Kernel Prior with Application to Blind Super-Resolution（CVPR2021）

六、Unsupervised Degradation Representation Learning for Blind Super-Resolution （CVPR2021）

1、出发点

• 现有的方法都是依靠估计退化（模糊核估计）来重建SR图像。然而，这种方法通常是耗时的，并可能导致SR失效，因为估计误差可能大。

2、主要工作

• 本文提出了一种无监督退化表示学习（unsupervised degradation representation learning ）方法，用于无显式退化估计（without explicit degradation estimation）的盲超分（Blind SR）。

3、网络流程

网络分两部分：

• （a）退化编码网络用于提取LR图像的退化表示信息。该网络是无监督训练的，利用对比学习（Contrastive Learning）进行训练。
• （b）退化感知超分网络用于重建SR图像。

4、无监督退化表示学习

假设前提：同一幅图像的不同块具有相同的退化方法；不同的图像的图像块具有不同的退化方法。

• 在两幅LR图像中分别提取两个图像块；
• 将四个图像块分别通过编码网络得到退化表示信息；
• 将退化表示信息送入两层的MLP网络得到x+，x和两个x-；
• 我们希望x与x+越相似越好，希望x与x-越不相似越好；
• 损失函数为：
  
  

5、退化感知超分网络

主网络的关键部分是DA block，DA block有包含两个DA conv。
DA conv 分两个分支：

• 上分支以退化表示为条件，学习预测深度卷积的核w。
• 下分支学习基于退化表示生成调制系数，以执行通道上的的特征自适应。