摘要
(1)从低分辨率(low-resolution, LR)图像到高分辨率(high-resolution, HR)图像的超分网络存在两个问题:
- 首先,学习从LR到HR图像的映射函数通常是一个不适定的问题(ill-posed problem),因为存在无限的HR图像可以降采样为同一LR图像。最终导致,因此可能的映射关系的空间巨大,找到正确的对应关系很困难。
- 真实场景下很难获取成对的LR-HR数据,直接给出一张LR图像的话并不清楚他是如何退化而来的,而且真实LR图像和合成图像的分布也不会一致,现在的方法无法适应具体情况。
(2)为了解决上述问题,作者提出了一种双重回归方案(Dual regression scheme),通过对LR数据引入额外的约束以减少可能的映射关系的空间,具体表现为除了学习LR到HR的原始映射,还额外学习从HR到LR的对偶映射,形成了一个LR到HR到LR的闭环。这样的对偶过程也并不依赖HR图像,所以可以解决真实数据的超分问题!
(3) 更关键的是,由于双重回归过程不依赖于HR图像,因此我们可以直接从LR图像中学习。 从这个意义上讲,我们可以轻松地将SR模型适应实际数据,例如来自YouTube的原始视频帧。
1. Introduction
(1) 首先,学习从LR到HR图像的映射通常是一个不适定的问题。 为了提高SR性能,可以通过增加模型容量来设计有效的模型,例如EDSR,DBPN和RCAN。 但是,这些方法仍然存在可能的映射函数的大空间问题,导致性能有限,而不会产生尖锐的纹理(见图一)。 因此,如何减少映射函数的可能空间以提高SR模型的训练成为重要的问题。
(2) 其次,当配对数据不可用时,很难获得有前途的SR模型。 请注意,大多数SR方法都依赖于成对的训练数据,即HR图像及其Bicubic-degraded的LR对应物。 但是,配对的数据可能不可用,并且未配对的数据通常在实际应用程序中占主导地位。
- 现实世界的数据不一定与通过特定的降级方法(例如,Bicubic)获得的LR图像具有相同的分布。因此,为现实世界的应用学习良好的SR模型可能非常困难。更关键的是,如果我们将现有的SR模型直接应用于现实世界的数据,则它们通常会带来严重的适应性问题,并产生较差的性能。
(3)作者提出了一种新颖的双重回归方案,该方案形成了一个闭环以增强SR性能。 为了解决第一个限制,作者引入了一个额外的约束来减少可能的映射空间,以便超分辨图像可以重构输入的LR图像。 通常,如果从LR→HR的映射最佳,则可以对超分辨图像进行下采样以获得相同的输入LR图像。 在这样的约束下,我们能够估计潜在的下采样内核,从而减少映射关系的空间,从而找到从LR到HR的良好映射。 为了解决第二个局限性,由于LR图像的回归不依赖于HR图像,因此我们的方法可以直接从LR图像中学习。
2. Related Work
2.1 Supervised super-resolution.
2.2 Unsupervised super-resolution.
2.3 Dual learning.
3. Propoesd Method
3.1 Dual Regression Scheme for Paired Data
-
现有方法仅专注于学习从LR图像到HR图像的映射。 然而,可能的映射函数的空间可能非常大,使得训练非常困难。为了解决这个问题,我们通过引入对LR数据的附加约束来提出对偶回归方案。具体而言,除了学习映射LR→HR外,我们还学习了从超分辨图像到LR图像的逆向/双重映射。
-
令 x ∈ X x∈X x∈X为LR图像, y ∈ Y y∈Y y∈Y为HR图像。作者同时学习原始映射P去重构HR图像和双向映射D重建LR图像。 注意,双向映射可以看作是对底层下采样内核的估计。 因此作者将SR问题公式化为涉及两个回归任务的对偶回归方案。
定义1(基本回归任务)我们试图找到一个函数P:X→Y,以使预测P(x)与其对应的HR图像y相似。
定义2(双向回归任务)我们试图找到一个函数D:Y→X,使得D(y)的预测与原始输入LR图像x相似。
- 基本回归任务和双重回归任务可以形成一个闭环,并提供信息性指导来训练模型P和D。如果 P ( x ) P(x) P(x)是正确的HR图像,则下采样图像 D ( P ( x ) ) D(P(x)) D(P(x))应该非常接近输入的LR图像x。 在此约束下,我们可以减少可能的映射的功能空间,并使学习更好的映射以重建HR图像变得更加容易。
- 通过共同学习这两个学习任务,通过如下方式训练超分辨率模型。 给定一组N个配对样本
S
P
=
(
x
i
,
y
i
)
i
=
1
N
S_P = {(x_i,y_i)}^N_{i = 1}
SP=(xi,yi)i=1N,其中
x
i
x_i
xi和
y
i
y_i
yi表示成对数据集中第i对低分辨率和高分辨率图像。 训练损失可以写成:
其中 L P L_P LP和 L D L_D LD分别表示基本回归任务和对偶回归任务的损失函数(使用ℓ1-范数)。 此处, λ λ λ控制对偶回归损失的权重。
实际上,还可以在HR域上添加约束,即在缩小和放大以重建原始HR图像。 但是,它极大地增加了计算成本(约为原始SR模型的2倍),并且性能提升非常有限。 所以实际上,我们仅在LR数据上添加对偶回归损失,这可以在保持大约相同成本的同时显着提高性能。
3.2. Dual Regression for Unpaired Data
更一般的SR情况,其中没有配对的HR数据,真实的LR数据。 更重要的是,LR图像的降级方法有十种未知,这使该问题非常具有挑战性。 现有的SR模型通常会引起严重的适应性问题。 为了缓解这个问题,作者提出了一种有效的算法,可以使SR模型适应新的LR数据。 训练算法如算法1所示。
- 对偶回归映射学习了基础的降级方法,并不一定依赖于HR图像。 因此,我们可以直接从未配对的真实LR数据中使用它学习来表现模型的适应能力。为了确保HR图像的重建性能,我们还合并了来自配对合成数据的信息。
给定M个不配对的LR样本和N个配对的合成样本,目标函数可以写为:
其中
1
S
P
(
x
i
)
1_{S_P}(x_i)
1SP(xi)是一个指标函数,当
x
i
∈
S
P
x_i∈S_P
xi∈SP时等于1,否则该函数等于0。(表示数据为合成数据时取1,无标签数据时取0)
3.3. Training Method
3.3.1 配对数据的训练方法。
给定成对的训练数据,我们遵循监督的SR方法的学习方案,并通过最小化 E q n Eqn Eqn来训练模型。
3.3.2 未配对数据的训练方法。
如算法一中所示,对于每次迭代,首先分别从
S
U
S_U
SU采样m个未配对的真实世界数据,从
S
P
S_P
SP采样n个成对的合成数据。 然后,通过最小化Eqn中的目标来端对端地训练模型。 为方便起见,我们将未配对数据的数据比率定义为:(实验表明百分之30结果最好.)
3.4. Differences from CycleGAN based SR Methods
与基于CycleGAN的SR方法相比,DRN有许多差异和优势。
(1) 首先, 基于CycleGAN的方法在解决欠约束的图像平移问题时使用cycle consistency loss来避免可能的模式崩溃问题[?], 而作者通过添加额外的约束来提高SR模型的性能,这通过将SR图像映射回相应的LR图像来减少可能的功能空间。
(2) 其次, 基于CycleGAN的方法完全丢弃了配对的合成数据,但是可以很容易地获得它们。 相反,作者的DRN同时利用配对的合成数据和真实世界中的非配对数据来增强训练。
4. More Details
描述双重回归网络(DRN)的体系结构。
4.1. Architecture Design of DRN
DRN模型由两部分组成:原始网络(a primal network)和对偶网络(a dual network)。网络结构如图二所示黑线表示原始映射,红线表示对偶映射,网络采用U-net结构。
(1)原始网络遵循U-Net的下采样上采样设计。 下采样(图二的左半部分)和上采样(图二的右半部分)模块都包含
l
o
g
2
(
s
)
log_2(s)
log2(s)基本块,其中s表示比例因子。 这意味着网络将有2个块用于4倍放大(请参见图二)和3个块用于8倍放大。 与baseline U-Net不同,我们使用B残差通道注意力块(B residual channel attention block,RCAB)构建每个基本块,以提高模型容量。作者添加了其他的输出以生成相应比例的图像(即1×,2×和4×图像),并将the proposed loss应用于它们以训练模型。请注意,在将LR图像馈入原始网络之前,我们使用Bicubic内核对LR图像进行了尺寸放大。
(2)对偶网络,从超分辨的图像中生成降采样的LR图像(图二中的红线)。 双向任务旨在学习向下采样操作,这比学习向上映射的原始任务要简单得多。 因此,我们设计仅具有两个卷积层和LeakyReLU激活层的对偶模型[28],其计算成本比原始模型低得多,但在实践中效果很好(请参见第5节中的结果)。
4.2. Theoretical Analysis
见原文。