DeblurGANv2翻译

图像去模糊
DeblurGANv2翻译
论文
代码
说明：没有翻译作者名称和参考文献，有需要的可以去上面论文链接里面去找。本文使用谷歌翻译来逐段翻译。
摘要
我们提出了一种新的端到端生成对抗网络 (GAN)，用于单图像运动去模糊，名为 DeblurGAN-v2，它大大提高了最先进的去模糊效率、质量和灵活性。 DeblurGAN v2 基于具有双尺度鉴别器的相对论条件 GAN。我们首次将特征金字塔网络引入去模糊，作为 DeblurGAN-v2 生成器的核心构建块。它可以灵活地与各种主干一起工作，以在性能和效率之间取得平衡。复杂的主干（例如，Inception-ResNet-v2）的插件可以导致最先进的去模糊。同时，借助轻量级主干网络（例如，MobileNet 及其变体），DeblurGAN-v2 比最接近的竞争对手快 10-100 倍，同时保持接近最先进的结果，这意味着可以选择真实的-时间视频去模糊。我们证明了 DeblurGAN-v2 在去模糊质量（客观和主观）以及效率方面在几个流行的基准测试中获得了非常有竞争力的性能。此外，我们展示了该架构对于一般图像恢复任务也很有效。我们的代码、模型和数据可在以下网址获得：
https://github.com/KupynOrest/DeblurGANv2。

1.介绍
本文重点研究单幅图像盲运动去模糊的挑战性设置。运动模糊通常出现在手持相机拍摄的照片或包含移动物体的低帧率视频中。模糊会降低人类感知质量，并挑战随后的计算机视觉分析。现实世界的模糊通常具有未知的和空间变化的模糊内核，并且由于噪声和其他伪影而变得更加复杂。
最近深度学习的繁荣导致图像恢复领域取得了重大进展[48, 28]。具体来说，生成对抗网络 (GAN) [9] 通常会产生比经典前馈编码器更清晰、更合理的纹理，并见证了图像超分辨率 [23] 和图像修复 [53] 的成功。最近，[21] 通过将 GAN 视为一种特殊的图像到图像转换任务 [13]，将 GAN 引入去模糊。所提出的模型，称为 DeblurGAN，被证明可以从合成和真实世界的模糊图像中恢复令人愉悦和清晰的图像。截至当时，DeblurGAN 的速度也比其最接近的竞争对手快 5 倍 [33]。
基于 DeblurGAN 的成功，本文旨在对基于 GAN 的运动去模糊进行另一次实质性推动。我们引入了一个新框架来改进 DeblurGAN，称为 DeblurGAN-v2，在去模糊性能和推理效率方面，以及在质量效率范围内实现高度灵活性。我们的创新总结如下：
框架级别：我们为去模糊构建了一个新的条件 GAN 框架。对于生成器，我们首次将最初为对象检测 [27] 开发的特征金字塔网络 (FPN) 引入图像恢复任务。对于鉴别器，我们采用了一个相对论鉴别器 [16]，其中包含一个最小二乘损失 [30]，并且有两列分别评估全局（图像）和局部（补丁）尺度。
主干级别：虽然上述框架与生成器主干无关，但选择会影响去模糊的质量和效率。为了追求最先进的去模糊质量，我们插入了一个如此复杂的 Inception-ResNet-v2 主干。为了提高效率，我们采用了 MobileNet，并进一步创建了具有深度可分离卷积 (MobileNet-DSC) 的变体。后两者的尺寸非常紧凑，推理速度很快。
实验级别：我们在三个流行的基准上展示了非常广泛的实验，以展示 DeblurGAN v2 实现的最先进（或接近）性能（PSNR、SSIM 和感知质量）。在效率方面，带有 MobileNet-DSC 的 DeblurGAN-v2 比 DeblurGAN [21] 快 11 倍，比 [33, 45] 快 100 倍以上，并且模型大小仅为 4 MB，这意味着可能时间视频去模糊。我们还对真实模糊图像的去模糊质量进行了主观研究。最后，我们展示了我们的模型在一般图像恢复方面的潜力，作为额外的灵活性。
2.相关工作
2.1图像去模糊
单图像运动去模糊传统上被视为反卷积问题，并且可以以盲或非盲方式解决。前者假设给定或预先估计的模糊内核 [39, 52]。后者更现实，但非常不合时宜。早期的模型依靠自然图像先验来规范去模糊[20,36,25,5]。然而，大多数手工制作的先验不能很好地捕捉真实图像中复杂的模糊变化。
新兴的深度学习技术推动了图像恢复任务的突破。孙等人。 [43] 利用卷积神经网络 (CNN) 进行模糊核估计。龚等人。 [8] 使用全卷积网络来估计运动流。除了那些基于内核的方法之外，还探索了端到端的无内核 CNN 方法以直接从模糊输入中恢复干净的图像，例如 [33, 35]。 Tao等人的最新作品。 [45] 将 Multi-Scale CNN 从 [33] 扩展到 Scale-Recurrent CNN 用于盲图像去模糊，结果令人印象深刻。
自 Ramakrish nan 等人以来，GAN 在图像恢复方面的成功也影响了单张图像去模糊。 [37]首先参考图像翻译思想[13]解决了图像去模糊问题。最近，Kupyn 等人。 [21] 介绍了利用 Wasserstein GAN [2] 的 DeblurGAN，具有梯度惩罚 [10] 和感知损失 [15]。
2.2生成对抗网络
GAN [9] 由两个模型组成：鉴别器 D 和生成器 G，它们形成了一个两人极小极大游戏。生成器学习生成人工样本并被训练来欺骗鉴别器，以捕获真实的数据分布。特别是，作为一种流行的 GAN 变体，条件 GAN [31] 已广泛应用于图像到图像的转换问题，其中图像恢复和增强是特殊情况。除了潜在代码之外，它们还将标签或观察到的图像作为输入。
具有价值函数V(D,G)的绩效极大游戏公式化为一下[9]（假真标签设置为0-1）

众所周知，这样的目标函数很难优化，并且在训练过程中需要处理许多挑战，例如模式崩溃和梯度消失/爆炸。为了修复消失的梯度并稳定训练，最小二乘 GANs 鉴别器 [30] 尝试引入提供更平滑和非饱和梯度的损失函数。作者观察到 [9] 中的对数类型损失很快饱和，因为它忽略了 x 到决策边界的距离。相比之下，L2 损失提供与该距离成比例的梯度，因此离边界更远的假样本会受到更大的惩罚。所提出的损失函数还最小化了 Pearson X2散度，从而导致更好的训练稳定性。 LSGAN 目标函数写为：

GAN 的另一个相关改进是相对论GAN [16]。它使用相对论鉴别器来估计给定真实数据比随机采样的假数据更真实的概率。正如作者所主张的，这可以解释一个先验知识，即 mini-batch 中的一半数据是假的。与其他 GAN 类型（包括 DeblurGAN-v1 中使用的 WGAN-GP [10]）相比，相对论鉴别器显示出更稳定和计算效率更高的训练。
3. DeblurGAN-v2 架构
DeblurGAN-v2 架构的概述如图 2 所示。它通过经过训练的生成器从单个模糊图像 IB 恢复清晰的图像 IS。

3.1特征金字塔去模糊
用于图像去模糊（和其他恢复问题）[23, 33] 的现有 CNN 通常指的是类似 ResNet 的结构。大多数最先进的方法 [33, 45] 处理不同级别的模糊，利用多流 CNN 和不同尺度的输入图像金字塔。然而，处理多尺度图像既费时又需要内存。我们首次将特征金字塔网络 [27] 的思想引入图像去模糊（更一般地说，图像恢复和增强领域），这是我们所知的第一次。我们将这种新颖的方法视为一种更轻量级的替代方案，以结合多尺度特征。
FPN 模块最初是为对象检测而设计的[27]。它生成多个特征图层，这些层编码不同的语义并包含更好的质量信息。 FPN包括自下而上和自上而下的路径方式。自下而上的路径是用于特征提取的常用卷积网络，沿该路径对空间分辨率进行下采样，但提取和压缩更多的语义上下文信息。通过自上而下的路径，FPNs 从语义丰富的层重建更高的空间分辨率。自下而上和自上而下路径之间的横向连接补充了高分辨率细节并帮助定位对象。
我们的架构由一个 FPN 主干组成，我们从中获取五个不同尺度的最终特征图作为输出。这些特征稍后被上采样到相同的 1/4 个输入大小，并连接成一个张量，其中包含不同级别的语义信息。我们还在网络末端添加了两个上采样和两个卷积层，以恢复原始图像大小并减少伪影。与 [21, 29] 类似，我们引入了从输入到输出的直接跳过连接，从而使学习集中在残差上。输入图像被标准化为 [-1 1]。我们还使用 tanh 激活层将输出保持在相同的范围内。除了多尺度特征聚合能力外，FPN 还在准确性和速度之间取得了平衡：请参阅实验部分。
3.2.骨干网的选择：性能和效率之间的权衡
新的 FPN 嵌入式架构与特征提取器主干的选择无关。凭借这种即插即用的特性，我们有权灵活地在精度和效率的范围内导航。默认情况下，我们选择 ImageNet 预训练的主干来传达更多与语义相关的特征。作为一种选择，我们使用 Inception-ResNet-v2 [44] 来追求强大的去模糊性能，尽管我们发现 SE ResNeXt [12] 等其他主干网络也同样有效。
由于移动设备上图像增强的普遍需求[54,50,47]，有效恢复模型的需求最近引起了越来越多的关注。为了探索这个方向，我们选择 MobileNet V2 骨干网 [40] 作为一个选项。为了进一步降低复杂性，我们在 DeblurGAN v2 之上使用 MobileNet V2 尝试了另一种更激进的选择，通过用深度可分离卷积 [6] 替换整个网络中的所有正常卷积（包括那些不在骨干网络中的卷积）。由此产生的模型被称为 MobileNet-DSC，并且可以提供极其轻量级和高效的图像去模糊。
为了向从业者释放这种重要的灵活性，在我们的代码中，我们将主干网的切换实现为一个简单的单行命令：它可以与许多最先进的预训练网络兼容。
3.3.双尺度 RaGAN-LS 鉴别器
我们建议对 DeblurGAN-v2 进行一些升级，而不是 DeblurGAN [21] 中的 WGAN-GP 鉴别器。我们首先在 LSGAN [30] 成本函数上采用相对论“包装”[16]，创建一个新的 RaGAN-LS 损失:

据观察，与使用 WGAN-GP 目标相比，训练明显更快、更稳定。我们还凭经验得出结论，生成的结果具有更高的感知质量和更清晰的整体输出。相应地，DeblurGAN v2 生成器的对抗性损失 Ladv 将优化 (2) w.r.t. G。
扩展到全球和本地规模。伊索拉等人。 [13] 建议使用 PatchGAN 鉴别器，它对大小为 70 × 70 的图像块进行操作，证明比对完整图像进行操作的标准“全局”鉴别器产生更清晰的结果。 PatchGAN 的想法被 DeblurGAN [21] 采用。
然而，我们观察到，对于高度不均匀的模糊图像，特别是当涉及复杂的物体运动时，“全局”尺度对于鉴别器整合完整的空间上下文仍然是必不可少的 [14]。为了利用全局和局部特征，我们建议使用双尺度鉴别器，由一个像 [13] 那样在补丁级别上运行的局部分支和另一个提供完整输入图像的全局分支组成。我们观察到允许 DeblurGAN-v2 更好地处理更大和更异构的真实模糊。
整体损失函数 对于训练图像恢复 GAN，需要在某种度量下比较训练阶段的图像、重建图像和原始图像。一个常见的选项是像素空间损失 LP，例如，最简单的 L1 或 L2 距离。正如 [23] 所建议的，使用 Lp 往往会产生过度平滑的像素空间输出。 [21] 提出使用感知距离 [15] 作为“内容”损失 LX 的一种形式。与 L2 相比，它计算 VGG19 [41] conv3_3 特征图上的欧几里得损失。我们结合了这些先验知识，并使用混合三项损失来训练 DeblurGAN-v2：

Ladv 项包含全局和局部判别器损失。此外，我们选择均方误差 (MSE) 损失作为 Lp：尽管 DeblurGAN 没有包含 Lp 项，但我们发现它有助于纠正颜色和纹理失真。
3.4.训练数据集
GoPro 数据集 [33] 使用 GoPro Hero 4 摄像头捕获每秒 240 帧 (fps) 的视频序列，并通过平均连续短曝光帧生成模糊图像。它是图像运动模糊的常用基准，包含 3,214 个模糊/清晰图像对。我们遵循相同的拆分 [33]，使用 2,103 对进行训练，其余 1,111 对用于评估。
DVD 数据集 [42] 收集了 71 个真实世界的视频，这些视频由 iPhone 6s、GoPro Hero 4 和 Nexus 5x 等各种设备以 240 fps 的速度拍摄。然后，作者通过平均连续的短曝光帧来近似更长的曝光时间，生成了 6708 个合成模糊和锐利对 [46]。该数据集最初用于视频去模糊，但后来也被带到图像去模糊领域。
NFS 数据集 [17] 最初被提议用于对视觉对象跟踪进行基准测试。它由 iPhone 6 和 iPad Pro 的高帧率相机拍摄的 75 个视频组成。此外，还从各种不同设备以 240 fps 的速度从 YouTube 收集了 25 个序列。它涵盖了各种场景，包括运动、跳伞、水下、野生动物、路边和室内场景。
训练数据准备：通常，模糊帧是从连续的干净帧中平均得到的。然而，当观察直接平均的帧时，我们注意到不切实际的鬼影效果，如图 3(a)© 所示。为了缓解这种情况，我们首先使用视频帧插值模型 [34] 将原始 240 fps 视频增加到 3840 fps，然后在同一时间窗口（但现在有更多帧）上执行平均池化。它会导致更平滑和更连续的模糊，如图 3(b)(d) 所示。实验上，这种数据准备并没有显着影响 PSNR/SSIM，但可以观察到改善视觉质量结果。

4.实验评价
4.2实现细节
我们使用 PyTorch [1] 实现了所有模型。我们通过从 GoPro 和 DVD 数据集中选择每一秒帧以及从 NFS 数据集中选择每十分之一帧来组成我们的训练集，希望减少对任何特定数据集的过度拟合。然后，我们在大约 10,000 个图像对的结果集上训练 DeblurGAN v2。评估了三个主干网络：Inception-ResNet v2、MobileNet 和 MobileNet-DSC。前一个 tar 获得高性能去模糊，而后两个更适合资源受限的边缘应用程序。具体来说，极其轻量级的 DeblurGAN v2 (MobileNet-DSC) 的参数成本比 DeblurGAN-v2 (Inception-ResNet-v2) 少 96%。
所有模型都在单个 Tesla-P100 GPU 上进行训练，使用 Adam [18] 优化器和 10-4的学习率持续 150 个 epoch，然后再进行 150 个 epoch，线性衰减到 10-7。我们将预训练的主干权重冻结 3 个 epoch，然后解冻所有权重并继续训练。未预训练的部分用随机高斯初始化。训练需要 5 天才能收敛。这些模型是完全卷积的，因此可以应用于任意大小的图像。
4.2. GoPro 数据集的定量评估
我们将我们的模型与一些最先进的技术进行比较：其中一种是 Xu 等人的传统方法。 [51]，其余的都是基于深度学习的：Sun 等人的 [43]、Deep Deblur [33]、SRN [45] 和 DeblurGAN [21]。我们比较了标准性能指标（PSNR、SSIM）和推理效率（在单个 GPU 上测量的每个图像的平均运行时间）。结果总结在表1中。

在 PSNR/SSIM 方面，DeblurGAN-v2 (Inception ResNet-v2) 和 SRN 排名前 2：DeblurGAN-v2 (Inception-ResNet-v2) 的 PSNR 略低，这并不奇怪，因为它没有在纯 MSE 损失；但它在 SSIM 中的表现优于 SRN。然而，我们非常鼓舞地观察到 DeblurGAN-v2（Inception ResNet-v2）比 SRN 减少 78% 的推理时间。此外，我们的两个轻量级模型 DeblurGAN-v2（MobileNet）和 DeblurGAN-v2（MobileNet-DSC）显示的 SSIM（0.925 和 0.922）与其他两种最新的深度去模糊方法 DeblurGAN（0.927）和 Deep去模糊 (0.916)，同时速度提高 100 倍。
特别是，MobileNet-DSC 每张图像仅需 0.04 秒，甚至可以为 25-fps 视频实现近乎实时的视频帧去模糊。据我们所知，DeblurGAN-v2 (MobileNet-DSC) 是迄今为止唯一可以同时实现（合理）高性能和高推理效率的去模糊方法。

4.3. Kohler 数据集的定量评估
Kohler 数据集 [19] 由 4 张图像组成，每张图像都使用 12 个不同的内核进行模糊处理。它是评估盲去模糊算法的标准基准。该数据集是通过记录和分析真实的相机运动生成的，然后在机器人平台上回放，从而记录一系列清晰的图像，对 6D 相机运动轨迹进行采样。
比较结果报告在表 2 中。与 GoPro 类似，SRN 和 DeblurGAN-v2（Inception-ResNet v2）仍然是最好的两个 PSNR/SSIM 性能，但这次 SRN 在两者中都略胜一筹。然而，请注意，与 GoPro 案例类似，这种“几乎平手”的结果是在 DeblurGAN-v2 (Inception-ResNet-v2) 的成本仅为 SRN 推理复杂度的 1/5 时实现的。此外，在 SSIM 和 PSNR 中，DeblurGAN-v2 (MobileNet) 和 DeblurGAN-v2 (MobileNet-DSC) 在 Kohler 数据集上的表现都优于 Deblur GAN：鉴于前两者的权重要轻得多，这令人印象深刻。

图 4 显示了 Kohler 数据集的可视化示例。 DeblurGAN-v2 有效地恢复了边缘和纹理，没有明显的伪影。此特定示例的 SRN 在放大时会显示一些颜色伪影。

4.4. DVD数据集的定量评估
我们接下来在 [42] 中使用的 DVD 测试集上测试 DeblurGAN-v2，但使用单帧设置（将所有帧视为单独的图像）而不使用多帧组合。我们与两种强大的视频去模糊方法进行比较：WFA [7] 和 DVD [42]，对于后者，我们采用作者在使用单帧作为模型输入时的自我报告结果（表示为“单” )，为了公平比较。如表 6 所示，DeblurGAN-v2 (MobileNet) 优于 WFA 和 DVD（单个），同时速度至少快 17 倍（DVD 在 960 × 540 的降低分辨率上进行了测试，而 DeblurGAN-v2 在 1280 x 720 上进行了测试）。
虽然没有专门针对视频去模糊进行优化，但 DeblurGAN-v2 显示出良好的潜力，我们将把它扩展到视频去模糊作为未来的工作。

4.5. Lai 数据集的主观评价
Lai 数据集 [22] 具有在各种类型的场景中收集的不同质量和分辨率的真实世界模糊图像。这些真实图像没有清晰/锐利的对应物，因此不可能进行全面参考的定量评估。在 [22] 之后，我们进行了一项主观调查，以比较这些真实图像的去模糊性能。
我们拟合了一个 Bradley-Terry 模型 [3] 来估计每种方法的主观得分，以便可以对它们进行排名，在之前的基准工作 [24, 26] 之后使用相同的例程。每个模糊图像都使用以下每种算法进行处理：Krishnan 等人。 [20]，怀特等人。 [49]，徐等人。 [51]，孙等人。 [43]，潘等人。 [36]、DeblurGAN [33]、SRN [45]、DeblurGAN [21]；和三个 DeblurGAN-v2 变体（Inception-ResNet-v2、MobileNet、MobileNet-DSC）。将 11 个去模糊结果与原始模糊图像一起发送以进行成对比较以构建获胜矩阵。我们从 22 位人类评估者那里收集了配对比较结果。我们观察到评分者之间有良好的共识和较小的人际差异，这使得评分可靠。
主观分数在表 4 中报告。由于缺乏基本事实，我们没有对分数进行归一化：因此，这里重要的是分数等级而不是绝对分数值。可以观察到，基于深度学习的去模糊算法通常比传统方法具有更有利的视觉效果（有些甚至使视觉质量比模糊输入更差）。 DeblurGAN [21] 优于 DeepDeblur [33]，但落后于 SRN [45]。借助 Inception-ResNet v2 主干，DeblurGAN-v2 表现出明显优于 SRN 的感知质量，使其在主观质量方面表现最佳。与 Inception-ResNet-v2 版本相比，具有 MobileNet 和 MobileNet-DSC 主干的 DeblurGAN-v2 的性能下降很小。然而，与 DeepDeblur 和 DeblurGAN 相比，主观评估者仍然更喜欢这两种方法，同时速度要快 2-3 个数量级。

图 5 显示了对“face2”图像进行去模糊处理的视觉比较示例。 DeblurGAN-v2 (Inception-ResNet v2) (5j) 和 SRN (5h) 是前 2 名最受青睐的结果，两者都很好地平衡了边缘清晰度和整体平滑度。通过放大，我们发现 SRN 在这个例子中仍然会产生一些鬼影，例如，从衣领到右下面部区域的白色“侵入”。相比之下，DeblurGAN-v2 (Inception-ResNet-v2) 显示了无伪影的去模糊。此外，DeblurGAN-v2 (Mo bileNet) 和 DeblurGAN-v2 (MobileNet-DSC) 结果也比 DeblurGAN 平滑且视觉效果更好，但不如 DeblurGAN-v2 (Inception-ResNet-v2) 锐利。

4.6.消融研究与分析
我们对 DeblurGAN-v2 管道的特定组件的影响进行了消融研究。从最初的 DeblurGAN（ResNet G, local-scale patch D, WGAN-GP + perceptual loss）开始，我们逐渐将我们的修改注入到生成器（添加 FPN）、判别器（添加 global-scale）和损失（用 RaGAN-LS 替换 WGAN GP 损失，并添加 MSE 项）。结果总结在表 6 中。我们可以看到，我们提出的所有组件都稳步提高了 PSNR 和 SSIM。特别是，FPN 模块的贡献最为显着。此外，添加 MSE 或感知损失对训练稳定性和最终结果都有好处。

作为 FPN 效率的额外基准，我们尝试创建一个“紧凑”版本的 SRN，其 FLOPs (456 GFLOPs) 与 DeblurGAN-v2 Inception ResNet-v2 (411 GFLOPs) 大致相同。我们将每个 EBlock/DBlock 中的 ResBlock 数量减少了 2/3，同时保持了它们的 3 尺度循环结构。然后，我们与 GoPro 上的 DeblurGAN-v2 (Inception-ResNet-v2) 进行比较，其中“紧凑”的 SRN 仅实现 PSNR = 28.92 dB 和 SSIM = 0.9324。我们还尝试了通道修剪 [11] 以减少 SRN FLOP，但结果并没有更好。

4.7.扩大到全面修复
现实世界的自然图像通常会同时经历多种退化（噪声、模糊、压缩等），最近的一些工作致力于此类连接增强任务 [32, 55] 我们研究了 DeblurGAN 的效果-v2 用于一般图像恢复的任务。虽然不是本文的主要重点，但我们打算展示 DeblurGAN v2 的一般架构优势，尤其是针对 w.r.t. 所做的修改。去模糊GAN。
我们合成了一个新的具有挑战性的恢复数据集。我们从 GoPRO 拍摄了 600 张图像，从 DVD 拍摄了 600 张图像，两者都已经有了运动模糊（同上）。然后，我们使用标注库 [4] 进一步向这些图像添加高斯和散斑噪声、JPEG 压缩和放大伪影。最终，我们将 8000 个图像用于训练，1200 个用于测试。我们训练并比较了 DeblurGAN-v2 (Inception-ResNet-v2)、DeblurGAN v2 (MobileNet-DSC) 和 DeblurGAN。如表 6 和图 6 所示，DeblurGAN-v2 (Inception-ResNet-v2) 实现了最好的 PSNR、SSIM 和视觉质量。

5.结论
本文介绍了DeblurGAN-v2，一个强大而高效的图像去模糊框架，具有可喜的定量和定性结果。 DeblurGAN-v2 能够在不同的主干之间切换，以在性能和效率之间进行灵活的权衡。我们计划扩展 DeblurGAN-v2 用于实时视频增强，并更好地处理混合退化。
致谢：O. Kupyn 和 T. Martyniuk 得到了 SoftServe、Let’s Enhance 和 UCU 的支持。 J. Wu 和 Z. Wang 得到了 NSF 奖 RI-1755701 的支持。作者感谢 Arseny Kravchenko、Andrey Luzan 和 Yifan Jiang 的建设性讨论，以及 Igor Krashenyi 和 Oles Dobosevych 的计算资源。

由于本人之前没有接触过图像去模糊，翻译这篇论文仅用来记录个人学习，如有侵权，请联系删除。