读《Closed-loop Matters: Dual Regression Networks for Single Image Super-Resolution》

摘要：

1、介绍：

ImageSR存在的问题：

1、学习从LR到HR的映射本来就是一个病态问题，解空间太大；为解决这个问题，有许多方法选则了增大模型容量，但是即便这样也没能提升轮廓的清晰度；

2、在Paired data（一大部分模型都依赖于paired training data）缺失的情况下如何得到一个理想的SR模型仍然是一个挑战；此外获取Paired data常用的降质模型与真实的降质模型分布也不相同；如果将现有的SR模型用于真实data的往往会导致严重的 adaptation

解决方案：

1、针对第一个问题，引入了一个additional constraint 用来约束对LR进行超分辨率重建；

2、针对第二个问题，文章提出的方法能够直接从LR图像中学习，然后能够比较容易得让它适应真实图片超分辨率重建的情况；

文章贡献：

1、提出了 dual regression scheme （带有 additional constraint）

2、研究了（注意不是提出了）SR更一般的情形（没有对应 HR data 的real-world LR data 的SR）

3、通过实验证明了dual regression scheme在SR上的有效性

2、相关工作：

有监督的SR：

基于插值的方法、基于重建的方法、DBPN、RCAN（通道注意力机制）

无监督的SR：

CycleGAN、CinCGAN、一部分混合方法【2、55】（不足：舍弃了可以提升训练效果的paired synthetic data）

Dual 学习方式：

Dual学习方法包含一个基本模型和一个dual模型，在语言翻译领域【17，40，41，53】，它们通过同时学习双向映射来增强学习效果，如今迁移到图像上可以不用paired training data，例如，CycleGAN【56】和DualGAN【42】；

针对GAN方法的模式坍缩（mode collapse）问题，提出了a cycle consistency loss。

但是以上方法并不直接适用于标准的SR问题；相比之下，文章使用closed-loop来减少SR问题的解空间。

此外还尝试学习非对称映射并为使用cycle提供理论保证；

3、提出方法：

Dual regression training scheme

注：后面，Dual Regression Scheme简称DRS，其网络Dual Regression Network简称DRN；

3.0 表示方法：

x∈X：LR图像

y∈Y：HR图像

P：重建HR图像的映射

D：重建LR图像的映射

3.1 Dual Regression Scheme for Paired Date

1、既学习LR→HR映射，也学习inverse/dual映射即HR→LR。映射D可以看做是对降质模型的模拟（the estimation of the underlying downsampling kernel）；

2、该框架包含两个回归任务：

• Primal Regression Task：

寻找x→y的映射P，尽可能让P(x)与对应的HR图片y相似；

• Dual Regression Task：

寻找y→x的映射D，尽可能让D(y)与对应的LR图片x相似；

思想：如果P(x)是正确的HR图像，那么对P(x)下采样即D(P(x))就应该非常接近输入的LR图像x，有了后半部分的限制，就能够减小SR的解空间了；

3、训练方法：

给定N个paired训练样本，其中xi和yi分别是第i对低分辨率和高分辨率图片

训练损失函数为：

LP和LD分别表示P 和D回归任务的 l1−norm 损失函数。

实际上文章只是在 LR data 上使用了 the dual regression loss ，这一方面提升了效果，而且代价也不大；

3.2 Dual Regression Scheme for Unpaired Data

针对现有SR方法存在的适应问题，文章提出了一种算法能够是SR模型适应新的LR data；

（算法见文件：Closed-Loop Alg1）

DRS直接从Unpaired real-word LR data中学习映射，为保证重建HR图像质量，也将合成的paired data（很容易可以获得，例如使用Bicubic kernel）中的信息包含在内。

给定M个unpaired LR 样本和N个paired 合成样本，目标函数可以写成：

1Sp(xi)是一个指示函数，当xi∈SP时，它等于1，否则等于0；

3.3 Training Method

Training method on paired data：

按照【16,26】的有监督SR学习框架，并且通过最小化公式（公式2）

来训练模型；

Training method on unpaired data：

对于每次迭代，首先，分别从SU中取m个unpaired样本，从SP中取n个paired样本；

然后通过最小化目标函数（公式2）来训练模型；

定义ρ=m/(m+n)为Unpaired data率；（通过实验发现当ρ=30%时效果最好）

注：上面两部分内容还是要看看section5和supplementary；

Differences from CycleGAN based SR Methods：

CycleGAN~：使用一个cycle consistency loss来避免mode collapse 问题；完全放弃使用paired synthetic data；

文章方法：增加extra constraint来减少解空间；同时使用paired synthetic data和 real-world unpaired data在增强训练；

4、更多细节：

Dual Regression Network（DRN）——下图

 

4.1 DRN的设计结构

DRN建立在U-NET网络之上，包含两部分：a primal network 和 a dual network

Primal network采用U-Net的“下采样-上采样”设计；

模型左部分是下采样；模型右部分是上采样；

在放大尺寸为𝑠的情况下，modules包含log2(𝑠)个blocks；（对于4×，网络有2个blocks，对于8×，有3个）；

在U-NET上进行了改进：所有blocks使用RCAB（residual channel attention block）；

在将LR图像输入P network之前先通过Bicubic kernel对它进行提升；注：详细内容见supplementary

图中的红线部分是文章提出的D network，只包含两个卷积层和一个LeakyReLU激活层；

4.2 理论分析

注：这部分内容，是对模型理论的推导与分析，可能对我来说不是特别重要；

5、实验：

6、进一步实验：

总结：