Modulation for Real-World Super-Resolution

Metric Learning based Interactive Modulation for Real-World Super-Resolution

abstract:

提出一个度量学习基于交互调制来实现Real-world、就是尽可能模拟现实生活中的降化样式

用一个度量学习 方法给真实世界的图片（基本上退化是不可量化的）打分0-1以一种无监督的方式，然后通过这个叫锚点策略的，来调节vector根据这个分数。

现有的超分和它的方法区别，主要是降化过程和类型的区分

 

相关工作：

2.1讲了最近的超分，主要是blind SR和一些real-world sr的尝试，考虑的模拟真实退化简单，所以恢复效果取决于降化表征的准确性与否、

这个blind SR 和 none-blind SR的区别：

none-blind SR：就是退化核是自己确定的一个，就是最常见的，假设假定的一个退化模型，HR到LR然后用来train，然后用这个网络去inference。

blind sr：看了一篇文章，感觉 就是不用这个HR到LR的过程就是。但是有的文章，是通过学习我来学习一个比较接近真实世界的退化过程，然后我再来HR-LR，感觉这个更像是none-blind sr

改进版而已。

2.2 Interactive Modulation for Image Restoration

这个介绍好水。（这个交互调制真不知道是啥）

2.3 Metric Learning

这篇文章用度量学习用来预测降化水平以一种无监督方式

Methodology：

3.1 Overview：

由三个模块组成：a base network, a condition network, and an unsupervised degradation estimation module。

这个base network就是基本的超分backbone，是esrgan 即gan网路的。

基本流程就是：一个LR用无监督降化模块，得到分数，进一步train调节网络，然后调节网络的输出和lr一起作为base network的输入

 

3.2 Unsupervised Degradation Estimation Module (UDEM)

它先把噪声和模糊分为两大类

Module architecture：

构建两个度量空间，分别噪声和模糊两大类：

 

度量学习的基本流程：用HR输入 然后经历复杂高阶的降化，训练得到两组，然后计算分数，然后再用锚点策略

 

Base network：

是一个gan 网络

The generator G accepts the input image and outputs the restored result, while the discriminator D aims to discriminate the restored result and the ground truth

用的是类似ESRGAN网络的generator，这个discriminator是用的real-esrgan中的。

Condition Network

Experiment：

评价：

后面就是一些标价指标衡量