Few-Shot Unsupervised Image-to-Image Translation——ICCV2019论文解读

  无监督的图像到图像翻译指的就是非配对的图像到图像的翻译。尽管它取得了一些成就，但是现在的方法需要在训练的时候用源域和目标域的图像一同训练，在这篇文章中，作者提出了一种基于小样本的无监督图像到图像翻译模型，并且关键的是，在模型的训练中，没有添加目标域的图像进行训练。
  作者的框架是他们之前UNIT工作的改进版，称之为FUNIT模型。并且证明了小样本学习能力，另外，作者还将提出的模型用于小样本分类任务。通过在FUNIT模型对于小样本类生成图像后，基于生成图像训练一个分类器，可以超过SOAT的小样本分类方法。
  UNIT工作的重要亮点在于共享隐层空间假设（shared latent space assumption）——处于不同domain的两张对应图像可以映射到共享的潜在空间中的同一个潜在表示（latent representation）。UNIT模型实际上是基于VAE+GAN的模型，在进行两个domain之间的图像转换时引入了一个潜在空间，两个domain内的对应图像会映射到潜在空间中的同一个编码，并通过VAE和GAN实现了这一过程。
问题：（1）小样本指的是目标域图像在训练集中是小样本？那为何作者提到在模型训练中没用加入目标域图像进行训练？
（2）如何实现小样本？

Introduction

  人类是非常擅长于泛化的。当人们看到一张从未见过的动物的照片时，就可以想象出它摆其他pose的样子，特别是如果人们见过其他动物摆相同pose的样子时。
  尽管许多无监督的图像到图像翻译方法已经取得了巨大成功，但是它们都不具备基于先验知识从新类别的小样本中生成的能力。具体来说，它们需要一个包含了所有待转换类别的大的图像训练集，即它们不支持小样本的泛化。
  为了缩小人类和机器想象力的差距，我们提出了一种小样本的无监督图像到图像翻译框架，试图学习一个图像到图像翻译模型，用于通过利用在测试时给定的目标域少量图像，将一个源域图像映射到目标域的类似图像。这个模型没有在训练时见过目标域的图像，但是被要求在测试时生成目标域的图像。我们假设人类的小样本生成能力来源于他们过去的视觉经验——如果一个人在过去已经看过许多不同种类的目标，那么他可以很好地想象一个新目标的场景。基于这个假设，我们使用了一个包含了许多不同目标类的图像的数据集来训练FUNIT模型，为了模拟人类从前的视觉经验。
  具体来说，我们训练一个模型，它通过利用目标域的少量样例图像，将源域图像翻译到目标域图像。我们假设通过学习提取在翻译任务中的少量样本图像的表观模式（appearance patterns），模型可以学习一个可泛化的表观模式提取器，它可以被应用于在训练阶段未见过的小样本图像到图像翻译任务。在实验部分，我们给出了丰富的证据证明因为训练集中类别数的增加而带来的小样本图像翻译的性能提升。

Related work

无监督（无配对）的图像到图像翻译

  以往工作的缺陷：【1】样本低效，如果仅用少量图像进行训练只能生成较差的转换结果。【2】学习到的模型只能在两个类别之间转换。对于一个翻译任务训练好的模型不能直接复用到一个新的任务上，就算是新任务和原任务有相似性的情况下。

多类别的无监督图像到图像翻译

小样本分类

  不同于小样本的图像到图像翻译，使用少量样本学习分类器的任务是长久研究的问题。最近有一些工作通过生成关于类别的新的特征向量来增加训练集。我们在实验部分证明了我们的小样本图像到图像翻译模型可以被应用于小样本分类任务中。

小样本无监督图像翻译

  为了训练FUNIT，我们使用了来自一个目标类别集的图像（比如来自不同动物种类的图像），称之为源域图像。我们假设在训练集中不存在成对的图像（比如不同种类的动物并没有摆同一个pose）。我们使用了源域图像来训练一个多类的无监督图像到图像翻译模型。在测试阶段，我们为训练好的模型提供了来自新的目标类的少量图像，称之为目标域。模型利用少量目标域图像来将一些源域图像翻译到目标域的类似图像。当我们为相同的模型提供一些来自一个不同的目标类的少量图像时，它则会将一些源域图像转换到不同的目标类的类似图像。
  FUNIT框架包含了一个条件图像生成器G和一个多任务的对抗性判别器D。不同于已存在的无监督图像到图像转换模型中只采取一张图像作为输入，我们的条件图像生成器G同时采用一张内容图像$x$和一个K张图像的集合 { y 1 , … , y K } \left\{\mathbf{y}_{1}, \dots, \mathbf{y}_{K}\right\} { y1​,…,y