KDSR~

用于真实世界超分的隐式退化估计算法

本文为粉丝投稿，介绍ICLR2023超分辨率论文《Knowledge Distillation based Degradation Estimation for Blind Super-Resolution》。

• paper: https://arxiv.org/pdf/2211.16928.pdf
• project: https://github.com/Zj-BinXia/KDSR

01. 关于盲超分研究现状分析

盲超分方法可以分为两类：经典盲超分和真实世界盲超分。

由于盲超分辨率面临几乎无限的退化形式，引入先验退化信息到超分辨率网络中可以帮助限制解空间并提高超分辨率性能。

如图1所示，获取退化信息的方式可以分为三类：

（1） 非盲超分辨率方法直接将已知退化信息作为先验 （图1（a））。

（2） 大多数盲超分辨率方法采用显式退化估计器，这些估计器需要退化真值监督训练（图1（b））。然而，这些显式的退化估计器是为特定的退化模型精心设计的，这种定制性使得它们难以用来处理其他退化模型。此外，很难显式地表示多种退化组合(BSRGAN,Real-ESRGAN) 作为真值以用来监督显式退化估计器的学习。因此，开发基于隐式退化表征（Implicit Degradation Representation, IDR）的方法是重要的。

（3） 近来，如图1（c）所示，DASR使用对比学习地区分退化。但是，对比学习方法通过推开或拉近特征粗略地区分退化，这是不稳定的，并且不能为盲超分辨率提取有很强区别性的退化表征。 

图1. 盲超分辨率中不同类型的退化估计器比较

02. 基于知识蒸馏的隐式退化估计器

大多数盲超分方法都会详细设计每种退化类型和过程的显式退化估计器。显式退化估计器存在几个限制：

（1） 这些针对特定退化过程的特殊设计使得显式估计器难以应用到其它退化设定。

（2）  提供显式退化估计器训练所需的各种退化标签比较复杂，特别是多种退化的随机组合。因此，提出了一种基于知识蒸馏的隐式退化估计器（KD-IDE），它可以在没有退化真值监督的情况下准确区分各种退化。

如图2（c）所示，可以将KD-IDE分为几个部分：

图2. 基于知识蒸馏的隐式退化估计器以及高效超分辨率网络结构图

03. 超分辨率网络

关于超分辨率网络的设计，应该考虑三个问题：

（1） 在获得IDR之后，设计一个超分辨率网络能够充分利用估计的退化先验进行超分辨率。

（2） 一个理想的盲超分网络应该易于使用，其结构应该简单。因此，本文试图使用一种简单而足够强大的模块来构建网络。

（3） 巨大的计算开销通常限制了模型的应用，尤其是在边缘设备上。因此，设计一个高效的模型是必要的。

如图2（a），（b），（d）所示，提出的超分辨率网络可以分为三个层次。

（2） 如图2（b）所示，提出了基于IDR的动态卷积残差块（IDR-DCRB）来实现深层模型。对于IDR-DCRB的第一次卷积，使用IDR-DDC来利用退化信息。然而，IDR-DDC缺乏不同通道之间的交互。因此，采用普通卷积作为残差块中的第二个卷积。

（3） 为了简单起见，如图2（d）或（e）所示，主要通过堆叠IDR-DCRB以构建超分辨率网络。

04. 训练过程

KDSR采用了两阶段的训练过程。

05. 实验结果

真实世界超分辨率进行评估

表1在真实世界超分辨率测试集上，真实世界超分方法的4 倍超分辨率定量结果比较

图3 真实世界超分测试集上，真实世界超分辨率方法的4 倍超分辨率视觉结果比较 在各向异性高斯模糊核以及噪声下进行评估 

在各向异性高斯模糊核以及噪声下进行评估

表2 在各向异性高斯模糊和噪声下，盲超分方法在Set14 数据集 上的PSNR 指标比较

图4 在各向异性模糊核与噪声退化上，盲超分方法的4 倍超分辨率视觉结果比较 在各向同性高斯模糊核下进行评估

在各向同性高斯模糊核下进行评估

表3 在基于Gaussian8 设定生成的数据集上进行4 倍超分辨率的定量比较结果

图5 在不同各向同性高斯模糊核上，4 倍盲超分辨率方法的视觉结果比较 消融实验

06.消融实验

退化区分能力T-SNE可视化

图6不同的各向同性高斯模糊核由不同的退化估计器提取的隐式退化表征（IDR）可视化结果 

原创作者: whaosoft 转载于: https://blog.51cto.com/whaosoft/11682749