DA-GAN

DA-GAN:基于深度注意力机制的生成对抗网络的实例级图像翻译

摘要：

无监督的图像转换，目的是转换两组独立的图像集风格，在没有成对数据集的情况下找到两者的正确关联是很具有挑战性的。现存的工作大部分是基于生成对抗网络，它可以令转换后的图像数据分布和目标数据分布区分不出。然而，这种数据集层次的约束是无法学习到实例级别的对应关系。（例如：在目标配置任务中的语义对齐部分）。这种限制通常会导致假阳性（如几何或者语义修改），并进一步导致模式崩溃的问题。为了解决上述问题，我们针对实例级别的图像翻译提出了一种新颖的框架，深度注意力机制的生成对抗网络(DA-GAN)，这个设计能够分解图像翻译任务，将两个数据集水平上的翻译转换成高维隐空间的实例级水平。特别的，我们连接了深度注意力编码器，这样的话实例级的对应关系就能够通过学习到的实例对被发现。因此，这种约束既能在数据及水平上又可以在实例级水平上。和其他目前的方法相比，我们的方法具有优越性和广泛的应用性。例如，姿态变换，数据增强等。

1.介绍

机器能否具有人的能力去关联不同的图像集，并且做相互转换？这个问题能够被列为图像翻译问题。换句话说，学习一个映射函数，通过找到底层对应关系，例如相似的语义，从一个图像集到另一个进行转换但底层信息不变。近些年的工作在有监督问题上已经取得很大的进步，但主要是在成对样本上。然而，成对样本的获取是很难的并且很昂贵的。因此，科研工作转向发展那些非成对数据的无监督学习方法。在无监督学习任务中，我们只需要获得两个独立的样本集。成对关系的缺失使我们更难找到正确的对应关系，因此它也更具有挑战性。现存的工作主要是基于生成对抗网络，它可以使生成的样本与原样本无法分辨出。然而我们指出数据本身是结构化的。这样的数据集级别的约束阻碍它们寻找有意义的实例级的通信。通过实例级的对应，我们参考更高层次的包含目标身份等信息。这些可辨认的目标能够受任务驱动自动调整。如图1所示，描述文本里的文字对应着鸟的照片里面相符合的部分和属性。因此，错误经常发生因为现存工作中实例级别的对应关系缺失。例如，在对象配置任务中，结果通常展示颜色和纹理的变化，然而几何变化失败。在文本转图像的合成系统中，颗粒度的细节经常丢失。

受这个重要问题的影响，产生了一个疑问：我们能否找到一个算法它能够在无监督配置下实例级别和数据集级别上找到一个有意义的对应关系。为了解决这个问题，本文中，我们介绍一个基于生成对抗网络致力于无监督学习的域翻译方法DA-GAN,它已经在翻译任务取得成功，取得了视觉上吸引人的成果。

第二，如何进一步加强数据集级别的约束，这样就可以减轻模式崩溃的问题。在实际中，所有输入样本都将映射成相同的样本，而优化没有取得进展。为了解决这个问题问题是，我们引入了一种多层对抗的训练过程去鼓励不同的模式以实现尽可能公平的概率分布在训练过程中。所以说，提供一个有效的方法去鼓励映射函数能够包含目标域中的所有模式，在最优化过程取得进步。我们的主要贡献可以总结为以下三个方面：

1.我们把任务分解成了实例级别的图像翻译，这样的话，通过提出混合损失我们的约束不仅可以用在实例级别也可以在数据集级别上。

2.就我们所知，我们是第一个把注意力机制应用在生成对抗网络上的。

3.我们介绍了一种新颖的网络框架DA-GAN,它可以产生视觉上吸引人的结果并且在很多任务上都有应用性。

图1：(a)文本到图像的生成。 (b)对象配置。我们可以观察到StackGAN中两者语义特征上实例级别的对应关系的缺失（红色标注框）和CycleGAN中几何人为因素的影响。我们的方法可以成功产生正确的对应关系（黄色标注框）我们采用的是实例级别的翻译。

2相关工作

生成对抗网络

自从生成对抗网络（GANs）被Goodfellow等人提出，研究人员对其进行了有力地研究。已经提出了一些稳定的训练技术，也生成了一些引人注目的结果。鉴于这些生成模型，基于生成对抗网络很多方法取得了很大的发展。大多数方法都使用了条件变量，例如属性或类别标签。也有很多工作是基于图像生成图像的。例如图像编辑，超分辨率。其他的方法使用来自不同域的条件特征做图像生成。Reed等人用编码的文本描述作为条件信息，生成64*64分辨率的符合文本描述的图像。他们的后续工作可以产生128*128分辨率的图像通过在对象部分位置上使用附加注释信息。在StackGAN 论文中，两个不同阶段的GANs被用来产生高分辨率的图像。比较StackGAN，我们提出的DA-GAN可以产生256*256分辨率的图像。更重要的是，我们通过未配对的数据训练网络，并达到视觉上具有吸引力的结果。

图像翻译

“Pix2pix”这篇论文使用附加条件的生成对抗网络去学习一个从输入图像到输出图像的映射。相似的想法被应用到了很多工作当中，例如从简笔画或者属性或者语义布局到图像的转换。最近，有人提出了这个域转换网络（DTN）并取得了结果在小分辨率的人脸和数字图像翻译上。

CoGAN和跨模态场景网络用一种权重分享的策略来学习一种跨模态的共同表示。另一条并行工作鼓励输入和输出共享某些内容特性尽管它们的风格可能不同。它们也用敌对网络，带有附加项来执行输出，要接近于预先定义的度量空间中的输入，例如类别标签空间、图像像素空间和图像特性空间。在CycleGAN中，提出了一个循环一致性损失来执行一对一的映射。

我们