DASR：Unsupervised Real-world Image Super Resolution via Domain-distance Aware Training

[PDF] http://xxx.itp.ac.cn/pdf/2004.01178.pdf
[CODE] https://github.com/ShuhangGu/DASR

ECCV 2020

Motivation

现在目前的超分方法都是在合成的LR图像上进行训练的，但是合成LR图像（如，双三次下采样）和真实LR图像域不一致，所以导致最终的超分模型在真实LR图像上的结果不理想。

目前的主流解决方法是根据给定的真实LR图像数据集，训练一个降质网络，让合成的LR图像的域与真实LR图像保持一致，以此形成LR-HR对来训练SR网络。但是通过这种方式得到的合成LR图像的域与真实LR图像依然存在域偏差domain gap，下面这幅图说明了这个问题，它把bicubic、FSSR、DASR（文章提出的网络 ）得到的LR图像输入到一个判别器中进行训练，把结果以直方图的形式输出，从左图中可以看出bicubic、FSSR、DASR得到的LR图像它们之间存在域偏差，这种偏差会影响SR网络在真实LR图像上的超分效果。

文章提出了一种 domain-distance aware super-resolution (DASR) 方法，通过domain-gap aware training和 domain-distance weighted supervision strategies来解决训练数据（合成的LR图像）和测试数据（真实的LR图像）的域偏差情况。

Method：DASR for Unsupervised Real-World Image SR

1 Overview

真实的LR图像：

HR图像：

过程分为两个阶段：
①通过一个下采样网络（ downsampling network DSN)，从HR图像中生成与真实LR图像域一样的合成LR图像$y^g$，形成LR-HR对。
②将得到的LR-HR 对进行训练一个SR网络（SRN)，在训练SRN过程中，DASR会将$y^g$和$y^r$之间的域偏差考虑进来，并且使用domain-gap aware training 和 domain-distance weighted supervision strategies来充分利用真实LR图像信息进行训练。

2 Training of Down-Sampling Network

这里说明如何得到合成的LR-HR对，将HR图像作为网络输入，经过23的residual blocks，得到输出$y^g$。$y^b$通过双三下采样得到，为了让$y^g$和$y^b$在内容上保持一致，通过重建损失和感知损失来约束网络：

为了让$y^g$和$y^r$的域保持一致，使用对抗损失，但是只在高频空间上进行。文章使用Haar 小波变换来提取高频信息，将小波变化分为得到的四个子带LH，LH，HL和HH，将高频子带LH，HL和HH进行堆叠来作为判别器的输入，haar小波变化还利用了方向信息来更好的表征图像细节。

对抗损失可以让网络忽略与SR任务无关的低频信息，同时能够降低网络训练的难度。判别器使用的是一个Patch-GAN策略，通过它得到patch-level dense domain distance map对后续的SRN过程有用。

Patch-GAN
在普通的GAN学习中，判别器D网络的输出是一个标量，介于0~1之间，代表是真实图片的概率。而patchGAN则是输出是NxN的矩阵X，每一个元素x[i][j]表示一个patch，对应于图像的一个感受野，最后取各个patch部位的均值来表示最后总的来看是真实图片的概率。

总体损失：

其中在实验中α=0.01，β=1，γ=0.0005，HR图像块大小为192 x 192

3 Domain distance aware training of Super-Resolution Network

采用Domain-gap aware training和Domain-distance weighted supervision两种策略来解决从DSN得到的$y^g$和$y^r$之间的域偏差问题，SRN受两个域约束，针对源域采用的是带标签的数据集$y^g,x^r$，针对目标域采用的无标签的真实LR图像数据集。

1）Domain-gap aware training：对源域和目标域采用不同的损失函数，对于有标签的源域，采用一种有监督的方法进行训练网络，对于目标域，使用对抗损失在高频信息空间上使输出

和HR图像$x^r$的分布对齐，损失函数：

2）Domain-distance weighted supervision：由于来自不同域的图像之间的差异仅表现在低级特征上，因此生成图像的每一区域与真实图像domain具有不同的domain距离。当用源域数据$y^g,x^r$来训练目标域SRN时，应根据不同区域到目标域的距离赋予不同重要性，而DSN得到的patch-level dense domain distance map可以用来表示它们之间的距离，根据这个距离我们给不同区域赋予不同的权重：

$w_i$表示domain distance map，需要使用bilinear让domain distance map的大小和HR图像一致。

SRN的总体损失为：

其中α = 0.01, β = 1 and γ = 0.005

(record by lqy)