（ZSSR）CVPR-2018：“Zero-Shot” Super-Resolution using Deep Internal Learning

最新推荐文章于 2022-04-25 12:52:52 发布

M_Y_Y_

最新推荐文章于 2022-04-25 12:52:52 发布

阅读量1.4k

点赞数 2

分类专栏：英文文献阅读文章标签： SR 无监督学习

本文链接：https://blog.csdn.net/M_Y_Y_/article/details/120383606

版权

英文文献阅读专栏收录该内容

15 篇文章 4 订阅

订阅专栏

Project Website： http://www.wisdom.weizmann.ac.il/∼vision/zssr/

摘要

在监督学习下，SR方法仅限于特定的训练数据，其中从其高分辨率（HR）获取低分辨率（LR）图像是预先确定的，没有任何分散注意力的伪影（例如，传感器噪声、图像压缩、非理想PSF等）。但真实的LR图像很少遵守这些限制。

本文介绍了“Zero-Shot”SR，它利用了深度学习，但不依赖于预先的训练。利用单个图像中信息的内部重现性，并在测试时对仅从输入图像本身提取的示例训练特定于图像的小CNN。因此，它可以使自己适应每个图像的不同设置。这允许在采集过程未知或不理想的情况下，对真实旧照片、噪声图像、生物数据和其他图像执行SR。

这是第一个基于CNN的无监督SR方法。

一、介绍

外部监督的方法在满足训练条件的数据上表现非常出色，但一旦不满足这些条件，其性能就会显著下降。

"Zero-Shot"SR方法（ZSSR）：它利用了深度学习的能力，而不依赖任何先验图像示例或先验训练。利用单个图像中信息的内部重现性，并在测试时对仅从LR输入图像本身提取的示例（即内部自我监控）训练特定于图像的小CNN。因此，CNN可以适应每个图像的不同设置。这允许在获取过程未知且不理想的真实图像上执行SR。

在单个图像的尺度上重复出现小块信息（例如，小块图像），是自然图像的一个非常强大的特性，形成了许多无监督图像增强方法的基础。

有些无监督方法可以利用图像特定信息，但它们通常依赖于使用K-最近邻搜索的预定义大小（通常为5×5）的小图像块的简单Eucledian similarity。因此，它们不能很好地推广到LR图像中不存在的patch，不能很好地推广到新的隐式学习相似性度量，也不能很好地适应图像内部重复结构的非均匀大小。

我们的特定图像（image-specific）的CNN利用图像特定信息的跨尺度内部重现能力，不受上述基于patch的方法的限制。训练CNN从LR图像及其缩小版本（自我监督）推断复杂的图像特定HR-LR关系。然后，将这些学习到的关系应用于LR输入图像，以生成HR输出。

ZSSR方法不需要任何侧面信息/属性或任何附加图像。

贡献：

（1）是第一个基于CNN的无监督SR方法。

（2）可以处理非理想成像条件，以及各种图像和数据类型（即使是第一次遇到）。

（3）不需要预训练，可以使用少量的计算资源运行。

（4）适用于任何尺寸的SR，理论上也适用于任何长宽比。

（5）可以适应已知和未知的成像条件（在测试时）。

二、ZSSR方法基本原理

自然图像具有很强的内部数据重复性（已被证明是正确的）。例如，小图像块（例如，5×5、7×7）在单个图像内重复多次，既在同一尺度内重复，也在不同的图像尺度上重复。

三、Image-Specific CNN

在从测试图像本身提取的示例上训练CNN。此类示例通过缩小LR图像 $I$ 的尺度来获得，以生成其自身的较低分辨率版本 $I$ ↓ $s$ （s是所需的SR比例因子）。

使用相对较轻的CNN，并训练它，使其从 $I$ ↓ $s$ 重建 $I$ （图（b）的顶部）。然后，将得到的经过训练的CNN应用于测试图像 $I$ ，现在使用 $I$ 作为网络的LR输入，以构建所需的HR输出 $I$ ↑ $s$ （图（b）的底部）。

注意，经过训练的CNN是完全卷积的，因此可以应用于不同大小的图像。

由于我们的“训练集”只包含一个实例（测试图像），因此我们在I上使用数据扩充来提取更多LR-HR示例对进行训练。

将测试图像 $I$ 缩小到其自身的许多较小版本（ $I=I_0,\: I_1,\:...\:,I_n$ ）来完成增强。他们充当HR监督，被称为“HR fathers”。然后，将每个“HR fathers”都缩小s倍，以获得“LR sons”，这些“LR sons”构成输入训练实例。生成的训练集由许多特定于图像的LR-HR示例对组成。然后，网络在这些示例对上随机训练。通过旋转、翻转进一步增强数据集。

个人理解：训练集中的LR-HR对就是由HR-fathers和HR-sons组成的。

为了鲁棒性，以及允许从非常小的LR图像获得较大的SR比例因子，逐步执行SR。

在每个中间尺度 $s_i$ 中，将生成的SR图像及其缩小/旋转版本添加到逐渐增长的训练集中，作为新的HR fathers。通过下一个渐进的比例因子 $s_{i+1}$ 缩小这些HR fathers（以及之前较小的“HR示例”），来生成新的LR-HR训练示例对。重复此操作，直到达到所需的分辨率。

3.1 Architecture & Optimization

受监督的CNN在大量不同的外部LR-HR图像示例集合上进行训练，必须在他们学习的权重中捕获所有可能的LR-HR关系的大量多样性。因此，这些网络往往非常深入和复杂。但单个图像中LR-HR关系的多样性要小得多，因此可以通过更小更简单的图像特定网络进行编码。

1、架构

使用一个简单的、完全卷积的网络，有8个隐藏层，每个层有64个通道。在每一层上使用ReLU激活。网络输入被插值到输出大小。只学习插值LR与其HR parent之间的残差。

2、优化

为了加速训练阶段并使运行时独立于测试图像 $I$ 的大小。在每次迭代中，从随机选择的father-son示例对中随机选取固定大小的裁剪。裁剪通常为128×128（除非采样图像对较小）。在每次训练迭代中对LR-HR示例对进行采样的概率设置为非均匀的，并且与HR-father的大小成比例。尺寸比（HR-father图像和测试图像 $I$ 之间）越接近1，其被采样的概率越高。

使用了几何自集成的方法（该方法对测试图像 $I$ 进行8次旋转、翻转生成8个不同的输出，然后将其组合）。取这8项输出的中位数，而不是它们的平均值。进一步将其与反投影技术相结合，以便8个输出图像中的每一个都经过多次反投影迭代，最后，中值图像也通过反投影进行校正。

3.2 Adapting to the Test Image

在实践中，由于图像退化是不确定的，无法针对所有可能的图像退化方式进行训练。并且，单个受监督的CNN不可能在所有可能的退化类型下都表现良好。

ZSSR网络可以在测试时适应测试图像的特定退化。

可以在测试时从用户处接收以下参数：

（1）所需的下采样核（默认为双三次核）。

（2）所需的SR比例因子s。

（3）所需的渐进式尺度增大的数量（默认值为6）。

（4）是否强制LR和HR图像之间的反向投影(默认为“Y”)。

（5）是否从LR测试图像中提取的每个LR- HR示例对的LR子图像上添加“噪音”（默认为“否”）。

图像特定的信息倾向于跨尺度重复，而噪声伪影却不会。向LR-son(而不是HR-father)添加合成噪声，可以教会网络忽略不相关的跨尺度信息(噪声)，同时学习提高相关信息(信号细节)的分辨率。

四、实验和结果

4.1 The ‘Ideal’ Case

表1显示，ZSSR取得了与外部监督方法有竞争力的结果。在无监督SR体系中，ZSSR的表现远远优于领先的SelfExSR方法

在内部重复结构很强的图像中，ZSSR往往超过VDSR，有时也超过EDSR+，如下图：

观察下图，图像中的一些像素(绿色标记的)从内部学习的数据递归(ZSSR)中受益更多，而其他像素(红色标记的)从外部学习的数据(EDSR+)中受益更多。内部方法(ZSSR)在信息重复率高的图像区域最占优势，特别是在模式非常小(分辨率非常低)的区域，比如建筑顶部的小窗户。这些微小的图案会在同一幅图像的其他地方(在不同的位置/比例)找到它们自己的更大(高分辨率)的例子。

这表明，通过在一个单一的计算框架中结合内部学习和外部学习的力量，可能有进一步改进SR的性能。

4.2 The ‘Non-ideal’ Case

在（i）非理想降尺度核（偏离双三次核）和（ii）低质量LR图像（例如，由于噪声、压缩伪影等）这种非理想情况下，图像特定的ZSSR比SotA（最新技术） SR方法提供了更好的结果。

（A）非理想降尺度核

本实验的目的是测试更真实的模糊核，并对结果进行数值评估。

使用随机（但大小合理）高斯核对HR图像进行降尺度处理。对于每个图像，选择其降尺度核的协方差矩阵∑，使其在每个轴上具有随机角度θ和随机长度 $\lambda _1$ 、 $\lambda _2$ ：

s为HR-LR降尺度系数，因此，每个LR图像由不同的随机核进行了下采样。

考虑了两种应用ZSSR的情况：（i）未知降尺度内核的更真实场景。对于这种模式，使用[14]（Blind-SR）直接从测试图像评估内核，并将其提供给ZSSR。在[14]中，通过寻找一个非参数降尺度核来估计未知SR核，该降尺度核最大化LR测试图像中各个尺度上的patch的相似性。（ii）将ZSSR与用于创建LR图像的真正降尺度内核一起应用。这样的场景对于由具有已知规格的传感器获得的图像可能有用。

没有一种外部监督的方法能够从了解测试图像的模糊核（无论是估计的还是真实的）中获益，因为它们是针对特定的核进行训练和优化的。