论文笔记:Closed-loop Matters: Dual Regression Networks for Single Image Super-Resolution

摘要

(1)从低分辨率(low-resolution, LR)图像到高分辨率(high-resolution, HR)图像的超分网络存在两个问题:
  • 首先,学习从LR到HR图像的映射函数通常是一个不适定的问题(ill-posed problem),因为存在无限的HR图像可以降采样为同一LR图像。最终导致,因此可能的映射关系的空间巨大,找到正确的对应关系很困难。
  • 真实场景下很难获取成对的LR-HR数据,直接给出一张LR图像的话并不清楚他是如何退化而来的,而且真实LR图像和合成图像的分布也不会一致,现在的方法无法适应具体情况。
(2)为了解决上述问题,作者提出了一种双重回归方案(Dual regression scheme),通过对LR数据引入额外的约束以减少可能的映射关系的空间,具体表现为除了学习LR到HR的原始映射,还额外学习从HR到LR的对偶映射,形成了一个LR到HR到LR的闭环。这样的对偶过程也并不依赖HR图像,所以可以解决真实数据的超分问题!
(3) 更关键的是,由于双重回归过程不依赖于HR图像,因此我们可以直接从LR图像中学习。 从这个意义上讲,我们可以轻松地将SR模型适应实际数据,例如来自YouTube的原始视频帧。

1. Introduction

(1) 首先,学习从LR到HR图像的映射通常是一个不适定的问题。 为了提高SR性能,可以通过增加模型容量来设计有效的模型,例如EDSR,DBPN和RCAN。 但是,这些方法仍然存在可能的映射函数的大空间问题,导致性能有限,而不会产生尖锐的纹理(见图一)。 因此,如何减少映射函数的可能空间以提高SR模型的训练成为重要的问题。

在这里插入图片描述

图一
(2) 其次,当配对数据不可用时,很难获得有前途的SR模型。 请注意,大多数SR方法都依赖于成对的训练数据,即HR图像及其Bicubic-degraded的LR对应物。 但是,配对的数据可能不可用,并且未配对的数据通常在实际应用程序中占主导地位。
  • 现实世界的数据不一定与通过特定的降级方法(例如,Bicubic)获得的LR图像具有相同的分布。因此,为现实世界的应用学习良好的SR模型可能非常困难。更关键的是,如果我们将现有的SR模型直接应用于现实世界的数据,则它们通常会带来严重的适应性问题,并产生较差的性能。
(3)作者提出了一种新颖的双重回归方案,该方案形成了一个闭环以增强SR性能。 为了解决第一个限制,作者引入了一个额外的约束来减少可能的映射空间,以便超分辨图像可以重构输入的LR图像。 通常,如果从LR→HR的映射最佳,则可以对超分辨图像进行下采样以获得相同的输入LR图像。 在这样的约束下,我们能够估计潜在的下采样内核,从而减少映射关系的空间,从而找到从LR到HR的良好映射。 为了解决第二个局限性,由于LR图像的回归不依赖于HR图像,因此我们的方法可以直接从LR图像中学习。

2. Related Work

2.1 Supervised super-resolution.
2.2 Unsupervised super-resolution.
2.3 Dual learning.

3. Propoesd Method

3.1 Dual Regression Scheme for Paired Data
  • 现有方法仅专注于学习从LR图像到HR图像的映射。 然而,可能的映射函数的空间可能非常大,使得训练非常困难。为了解决这个问题,我们通过引入对LR数据的附加约束来提出对偶回归方案。具体而言,除了学习映射LR→HR外,我们还学习了从超分辨图像到LR图像的逆向/双重映射。

  • x ∈ X x∈X xX为LR图像, y ∈ Y y∈Y yY为HR图像。作者同时学习原始映射P去重构HR图像双向映射D重建LR图像。 注意,双向映射可以看作是对底层下采样内核的估计。 因此作者将SR问题公式化为涉及两个回归任务的对偶回归方案。

定义1(基本回归任务)我们试图找到一个函数P:X→Y,以使预测P(x)与其对应的HR图像y相似。
定义2(双向回归任务)我们试图找到一个函数D:Y→X,使得D(y)的预测与原始输入LR图像x相似。

  • 基本回归任务和双重回归任务可以形成一个闭环,并提供信息性指导来训练模型P和D。如果 P ( x ) P(x) P(x)是正确的HR图像,则下采样图像 D ( P ( x ) ) D(P(x)) D(P(x))应该非常接近输入的LR图像x。 在此约束下,我们可以减少可能的映射的功能空间,并使学习更好的映射以重建HR图像变得更加容易。
  • 通过共同学习这两个学习任务,通过如下方式训练超分辨率模型。 给定一组N个配对样本 S P = ( x i , y i ) i = 1 N S_P = {(x_i,y_i)}^N_{i = 1} SP=(xiyi)i=1N,其中 x i x_i xi y i y_i yi表示成对数据集中第i对低分辨率和高分辨率图像。 训练损失可以写成:
    在这里插入图片描述
    其中 L P L_P LP L D L_D LD分别表示基本回归任务和对偶回归任务的损失函数(使用ℓ1-范数)。 此处, λ λ λ控制对偶回归损失的权重。

实际上,还可以在HR域上添加约束,即在缩小和放大以重建原始HR图像。 但是,它极大地增加了计算成本(约为原始SR模型的2倍),并且性能提升非常有限。 所以实际上,我们仅在LR数据上添加对偶回归损失,这可以在保持大约相同成本的同时显着提高性能。

3.2. Dual Regression for Unpaired Data

更一般的SR情况,其中没有配对的HR数据,真实的LR数据。 更重要的是,LR图像的降级方法有十种未知,这使该问题非常具有挑战性。 现有的SR模型通常会引起严重的适应性问题。 为了缓解这个问题,作者提出了一种有效的算法,可以使SR模型适应新的LR数据。 训练算法如算法1所示。
在这里插入图片描述

算法一
  • 对偶回归映射学习了基础的降级方法,并不一定依赖于HR图像。 因此,我们可以直接从未配对的真实LR数据中使用它学习来表现模型的适应能力。为了确保HR图像的重建性能,我们还合并了来自配对合成数据的信息。

给定M个不配对的LR样本和N个配对的合成样本,目标函数可以写为:

在这里插入图片描述
其中 1 S P ( x i ) 1_{S_P}(x_i) 1SP(xi)是一个指标函数,当 x i ∈ S P x_i∈S_P xiSP时等于1,否则该函数等于0。(表示数据为合成数据时取1,无标签数据时取0)

3.3. Training Method
3.3.1 配对数据的训练方法。

给定成对的训练数据,我们遵循监督的SR方法的学习方案,并通过最小化 E q n Eqn Eqn来训练模型。

3.3.2 未配对数据的训练方法。

如算法一中所示,对于每次迭代,首先分别 S U S_U SU采样m个未配对的真实世界数据,从 S P S_P SP采样n个成对的合成数据然后,通过最小化Eqn中的目标来端对端地训练模型。 为方便起见,我们将未配对数据的数据比率定义为:(实验表明百分之30结果最好.)
在这里插入图片描述

3.4. Differences from CycleGAN based SR Methods

与基于CycleGAN的SR方法相比,DRN有许多差异和优势。

(1) 首先, 基于CycleGAN的方法在解决欠约束的图像平移问题时使用cycle consistency loss来避免可能的模式崩溃问题[?], 而作者通过添加额外的约束来提高SR模型的性能,这通过将SR图像映射回相应的LR图像来减少可能的功能空间。
(2) 其次, 基于CycleGAN的方法完全丢弃了配对的合成数据,但是可以很容易地获得它们。 相反,作者的DRN同时利用配对的合成数据和真实世界中的非配对数据来增强训练。

4. More Details

描述双重回归网络(DRN)的体系结构。

4.1. Architecture Design of DRN

DRN模型由两部分组成:原始网络(a primal network)和对偶网络(a dual network)。网络结构如图二所示黑线表示原始映射,红线表示对偶映射,网络采用U-net结构。
(1)原始网络遵循U-Net的下采样上采样设计。 下采样(图二的左半部分)和上采样(图二的右半部分)模块都包含 l o g 2 ( s ) log_2(s) log2(s)基本块,其中s表示比例因子。 这意味着网络将有2个块用于4倍放大(请参见图二)和3个块用于8倍放大。 与baseline U-Net不同,我们使用B残差通道注意力块(B residual channel attention block,RCAB)构建每个基本块,以提高模型容量。作者添加了其他的输出以生成相应比例的图像(即1×,2×和4×图像),并将the proposed loss应用于它们以训练模型。请注意,在将LR图像馈入原始网络之前,我们使用Bicubic内核对LR图像进行了尺寸放大。

(2)对偶网络,从超分辨的图像中生成降采样的LR图像(图二中的红线)。 双向任务旨在学习向下采样操作,这比学习向上映射的原始任务要简单得多。 因此,我们设计仅具有两个卷积层和LeakyReLU激活层的对偶模型[28],其计算成本比原始模型低得多,但在实践中效果很好(请参见第5节中的结果)。在这里插入图片描述

图二
4.2. Theoretical Analysis

见原文。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值