Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks 简单总结

摘要

we present an approach for learning to translate an image from a source domain X to a target domain Y in the absence of paired examples. such that the distribution of images from G(x) indistinguishable. from the distribution Y using an adversarial loss. Because this mapping is highly under-constrained(高度约束不足？)。we couple it with an inverse mapping F : Y → X and introduce a cycle consistency loss to enforce F(G(X)) ≈ X (and vice versa)

简介

In this paper, we present a method that can learn to do the same: capturing special characteristics of one image collection and figuring out how these characteristics could be translated into the other image collection, all in the absence of any paired training examples.

我们不禁想到这样一个问题，这个不成对的训练是怎么进行的呢？如果仍然使用传统的GAN的损失和训练方式，使用这些不成对的数据集进行训练，会出现什么问题呢？作者发现:
无法保证对于一个输入x，可以得到有意义的输出y，因为使用了不成对的训练集，但是可以学到无数种的映射G，而这些G都可以使生成的分布y^

逼近与目标域。
单独优化对抗损失非常困难，导致了一些不可名状的问题，如model collapse(即生成的样本的多样性问题)。

Therefore, we exploit the property that translation should be “cycle consistent。

如何解决呢？作者发现在迁移过程中有这样一个特性——”循环一致性“。比如：我们将一个句子从英语翻译到法语，再将其翻译回英语，我们应该得到与原始的英文相同的句子(不禁想起了以前整理的的Dual Learning的文章，有兴趣的可以看下)。用数学符号来表示下：我们有一个转换器(映射):G:X→Y，和另一个转换器F:Y→X。那么G和F应该是互逆的，即两者是一个双向映射。于是可以同时训练G和F来确保这个性质，增加一个循环一致性损失，使得F(G(x))≈x以及G(F(x))≈y。组合该损失和对抗损失，就得到了我们整体的非正对的图像到图像迁移的优化目标。

相关工作

Formulation

给定训练集样本{xi}Ni=1∈X和{yj}Mj=1∈Y。如图-3(a)所示，模型包含两个映射：G:X→Y和F:Y→X。此外，引入两个对抗的判别器DX和DY，DX的作用是用来判别{x}和{F(y)}；DY的作用是用来判别{y}和{G(x)}

。优化目标包含两项：

对抗损失(adversarial loss)：促使生成图像分布与目标域的图像分布相逼近
循环一致性损失(cycle consistency loss)：使得F(G(x))≈x

以及G(F(x))≈y。防止学习到的映射G和F互相矛盾。

Adversarial Loss

Cycle Consistency Loss

因此有了循环一致性损失来面对这个问题。如图-3(b)所示，对于每一张来自于源域X的图片x，都有：x→G(x)→F(G(x))≈x，成为前向循环一致性(forward cycle consistency)。同样的，有反向循环一致性(backward cycle consistency)：y→F(y)→G(F(y))≈y。由此得到我们的循环一致性损失：

Full Objective