转载·图片修补 EdgeConnect 论文的阅读与翻译

图片修补 EdgeConnect 论文的阅读与翻译：生成边缘轮廓先验，再填补缺失内容

原论文下载地址

翻译声明

• hallucinating edges 边缘假想图 （通过不完整的图片，生成假想的边缘轮廓图片）
• edges 边缘、轮廓（在出现歧义的情况下，我会将「边缘」翻译成「轮廓」）
• edge detection 边缘检测算法（由于大家都翻译成「边缘检测」）
• image Completion /inpainting 图片修补
• fill the missing regions 填补缺失区域（为包含 修补 之思，故不将 fill 译为 填充）
• ground truth image 真实图片 （我无法给出好的翻译）
• mask 掩膜 （采用的是PhotoShop 的翻译）

0. 摘要

过去几年，深度学习技术在图片修补领域上取得了显著的成果。然而，这些技术在无法重构出（图片缺失区域的）合理结构，它们总是得到过于平滑或者模糊的结果。这篇论文开发了一种新的图片修补技术，它的修补效果更好，填补的区域展示出了更加精致的细节。我们提出的二阶段图片修补对抗模型 EdgeConnect，整合了边缘生成器与图片修补网络。先由边缘生成器生成出不规则缺失区域的边缘假想图，作为先验结果，然后在这张边缘假想图的基础上，使用图片修补网络对缺失区域进行填充。我们在可获取到的公共数据集 CelebA，Places2，以及 Paris StreetView 上对我们的模型进行端到端的评估，结果表明我们的结果在定量与定性的分析上，优于现阶段的其他算法。

1. 介绍

图片修补 (Image Completion /Inpainting) 就是将一张图片中的缺失区域进行修补。是许多图片编辑任务中的重要一步。举例说明，它可以被应用在 将图片中某个物体移除后，对缺失区域的修补任务上。人类有一种不可思议的能力去消除视觉上的不连续性 (visual inconsistencies)。因而填补区域必须在感知上合理 (be perceptually plausible)。另外，填补区域缺乏精细结构一直是一个令人不快的附属品，尤其是图片中的区域包含锐利的细节时。我们观察到现有图像修复技术会产生过度平滑或者模糊的区域，这推动了本文所介绍的方法的产生。

图1，二阶段图片修补流程：输入的不完整图片（左），在黑色的边缘轮廓的基础上生成补充的蓝色轮廓线条（中），根据左边的两种图片生成完整的图片（右）

我们将图片修补分为两个阶段（如图1）：轮廓生成与图片修补。

1. 边缘轮廓生成只关注生成缺失区域中的假想边缘轮廓。
2. 图片修补网络使用轮廓假想图，以及输入的不完整图片，对缺失区域的RGB像素数值进行估计。

为了确保生成的边缘假想图 (hallucinated edges) 与 填补区域的RGB像素值 (RGB pixel intensities) 在视觉上的感受是连续的 (visually consistent)，这两个阶段的任务，我们都使用了对抗网络去完成。两个网络都包含了基于深度特征的损失函数，以生成尽可能逼真的图片 (enforce perceptually realistic results)。

像大部分计算机视觉问题一样，图片修补任务比深度学习技术更早地被广泛地使用。广义上讲，传统的图片修补方法可以分为两种：扩散型 (diffusion-based) 与 补丁型(patch-based)。

省略对 扩散型 (diffusion-based) 与 补丁型(patch-based)的解释，你们『望文生义』或者『顾名思义』就行了。

目前的深度学习方法在图片修补任务上取得了显著的成果。这些方案通过学习数据的分布对缺失的像素进行填补。他们可以生成缺失区域内连贯的结构。这是传统的技术几乎不可能实现的创举。虽然这些方法可以为缺失区域生成有意义的结构，但是生成的区域通常是模糊图像，或者（不自然的）伪像 (suffer from artifacts)，这表明了这些方法无法准确地重建高频率的信息。

然后，要怎样才能促使图片修补网络生成精致的细节？在图片的结构可以很好地使用它的边缘图片进行表示的情况下，我们（的研究工作）表明了：对图片修补网络进行调整，在缺失区域上生成（轮廓图 作为）先验结果是可行的。显然，我们无法获取缺失区域的边缘。相反，我们可以训练一个轮廓生成器，利用它生成这些缺失区域的轮廓。我们“生成轮廓线条，在生成填充色彩”的方案，有一部分灵感来自于艺术家的工作过程。。。。（省略艺术家Betty Edwards 的话）。。。他从艺术的角度强调了草图的重要性。我们认为轮廓恢复是图片修补中的一项简单的任务，我们提出的模型，在实质上解耦合了图片修补过程中 对缺失区域的 高频与低频信息的恢复过程。

我们在标准的数据集 CelebA，Places2，以及Paris Sreet View 上进行评估。我们将我们的模型的性能与目前最好的方案进行比较。我们提供了实验囧过来研究边缘信息对图片修补任务的影响。我们的文章做出了以下贡献：

• 一个可以生成（缺失区域）的假想轮廓的边缘轮廓生成器。它在给定了 图片剩余部分的灰度图 的情况下，能够给出缺失区域的轮廓假想图。
• 一个图片修补网络，它可以结合缺失区域（作为先验）的假想轮廓图，根据图片的其余部分，对缺失区域的色彩以及上下文信息进行填补。
• 一个结合了轮廓生成器与图片修补的端到端的训练网络。可以为为缺失区域填补上具有精致细节的内容。

我们展示了我们我们在一下常见的图像编辑任务上的应用，如物体的移除和场景生成任务。我们在GitHub上面开源我们的代码：点我

转自知乎：曾伊言