图像翻译：UVCGAN: UNET VISION TRANSFORMER CYCLE-CONSISTENT GAN FOR UNPAIRED IMAGE-TO-IMAGE TRANSLATION

论文下载
开源代码

0.摘要

图像转换在艺术、设计和科学模拟中有着广泛的应用。原始的CycleGAN模型强调通过循环一致的损失来进行一对一映射，而最近的一些作品则提倡一对多映射来增加翻译图像的多样性。考虑到科学模拟和一对一的需求，这项工作检查了是否用视觉Transformer(ViT)装备CycleGAN和使用先进的生成对抗网络(GAN)训练技术可以获得更好的性能。得出的UNet ViT周期一致GAN (UVCGAN)模型与之前在开放基准图像到图像翻译数据集、selfie2动漫和CelebA上表现最好的模型进行了比较。UVCGAN性能更好，并保留了原始图像和平移图像之间的强相关性。一项伴随消融研究表明，梯度惩罚和bert样的预训练也有助于改善。

1.概述

未配对的图像到图像的转换在两个或多个域之间映射图像，其中的图像实例不匹配。通过精确的像素到像素映射来收集数据集是困难的，而且往往是不可能的，因为大多数科学实验无法通过模拟精确地再现。与常规生成模型[1,2,3]从随机向量输入生成图像不同，图像到图像的转换来自输入图像，假设这应该是一个更容易的任务。除了在艺术和设计方面的潜在应用，我们相信图像到图像的转换将对科学模拟产生深远的影响。仿真结果可以定义为一个领域，实验数据为另一个领域，而不是用生成模型代替整个科学仿真。因此，一个图像到图像的转换模型将填补模拟-现实的空白
CycleGAN[5,6,7]模型连接两个生成对抗网络(GAN)模型，每个转换方向一个，并引入一个循环一致的损失，以加强图像在循环转换后应该看起来像自己，