深度单图像处理

多年来，由于这项任务的受欢迎程度和商业重要性，图像处理吸引了许多研究。近年来，已经提出了用于许多图像处理任务的深度神经网络方法。深度方法的主要问题是需要训练来自与目标图像相同分布的大量数据，而收集包含整个图像长尾的数据集是不可能的。在本文中，我们证明了简单地在单个目标图像上训练条件对抗生成器就足以执行复杂的图像操作。我们发现，启用单个图像训练的关键是输入图像的广泛增强，并提供了一种新颖的增强方法。我们的网络学会了在图像的原始表示形式（例如边缘）与图像本身之间进行映射。在操作时，我们的生成器允许通过修改原始输入表示并通过网络将其映射来进行一般图像更改。我们广泛评估了我们的方法，发现它提供了出色的性能。

3.方法：从单个图像学习条件生成器

我们提出了一个条件生成对抗网络（cGAN），用于学习从原始图像表示形式（例如边缘，分割）到图像的映射。 该方法具有几个目标：i）单幅图像训练ii）保真度-输出应反映原始图像表示形式iii）外观-输出图像应看起来与训练图像具有相同的分布。 在本节中，我们介绍一种新颖的增强方法，该方法允许标准cGAN架构实现这些目标。 所使用的特定类型的扩充至关重要，因为它们可以提供优先于数据的功能。 在这种情况下，具有良好的先验性很重要，因为训练集仅包含一个图像。

3.1.模型

我们的模型设计遵循cGAN模型（尤其是pix2pixHD [11]）的标准做法。 让我们表示我们的训练图像对（x，y），其中y是输入图像，x是相应的图像图元。 我们学习了一个映射网络M，该网络吸收了输入图像图元x并输出估计图像$y_{est}$。 我们使用VGG感知损失$l_{perc}$ [17]从预测图像和实际图像中提取特征，并计算它们之间的差异。
$$L_{rec}=l_{perc}(y_{est},y)$$
有条件的GAN损失：按照标准做法，我们增加了对抗损失，该措施衡量鉴别器区分（输入，生成图像）对（x，y est）和（输入，真实图像）对（x，y）的能力 ）。 鉴别器D是使用深度分类器实现的，并且在映射网络中经过对抗训练。 鉴别符的损失是：
m i n D