图像翻译/GAN：Unsupervised Image-to-Image Translation with Self-Attention Networks基于自我注意网络的无监督图像到图像的翻译

论文下载
开源代码

0.摘要

无监督图像翻译的目的是在给定未配对训练数据的情况下，学习从源域到目标域的转换。在基于GANs的无监督图像到图像的翻译中，一些最先进的作品取得了令人印象深刻的成果。与样式转换等局部纹理映射任务相比，它无法捕获域之间强烈的几何变化，或者对复杂场景产生不令人满意的结果。最近，SAGAN[35]表明，自我注意网络比卷积型GAN产生更好的结果。然而，自我注意网络在无监督图像到图像翻译任务中的有效性尚未得到验证。在本文中，我们提出了一种具有自我注意网络的无监督图像到图像的转换，其中长距离依赖不仅有助于捕获强烈的几何变化，而且还可以使用所有特征位置的线索生成细节。在实验中，我们定性和定量地证明了该方法相对于现有的无监督图像到图像翻译任务的优越性。

1.概述

在计算机视觉和图形学中，有许多图像到图像的转换任务，包括修复[17]、[26]、超分辨率[10]、[19]、着色[36]、[37]、样式转换[11]、[15]、[25]等等。这一跨领域的图像到图像的翻译主题已经成为研究人员关注的主要问题。
在许多情况下，给定一个成对的数据集，可以通过条件图像转换来解决问题[18]、[22]、[30]。然而，获得成对样本既困难又昂贵。此外，有些情况下无法进行监督。
无监督图像翻译的目标是在给定未配对训练数据的情况下，学习从源域到目标域的转换。最近的工作在基于GANs的无监督图像到图像翻译方面取得了令人印象深刻的结果[1]、[8]、[16]、[20]、[23]、[27]、[29]、[34