Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

循环生成对抗网络（Cycle-GAN）用于图像风格迁移

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

原文链接：https://arxiv.org/pdf/1703.10593.pdf

通过这篇文章介绍一下Cycle-GAN的思想。

这篇文章的主要贡献：

在图像风格迁移中，往往需要成对的数据（下图左侧）对GAN进行训练，比如cGAN 。cGAN的介绍：https://blog.csdn.net/weixin_39417323/article/details/89378344
但是这样的数据库比较少，单独做一个的话，代价又太高。该论文利用Cycle-GAN使用不成对的两个风格的数据库（下图右侧）实现了图像的风格迁移。

下图是一些使用Cycle-GAN的例子。

那么，我们从mode collapse引出Cycle-GAN。如下图所示，我们希望GAN生成的数据分布是第一张图的八个点，第二行图是我们希望的训练过程。然而实际的训练过程却总是进入第三行图的怪圈，也就是mode collapse。原因是：当生成器生成的数据大部分都分布在同一个点附近的时候，那么判别器就学到了在这一个点附近的数据都是生成的。这样生成器就无法继续生成在这个点附近的数据，只能跳到其它的点。然后一段时间后判别器又学到了，周而复始，形成了一场追逐游戏。

所以，如果发生以上问题，那么不管生成器的输入是什么，输出都差不多。比如我们希望生成器可以生成很多种小动物，最后却只能生成狗。这显然是不可接受的。

针对该问题作者提出了cycle consistent（循环一致性）。既然生成器G能从x生成y（G(x)），那么我们可以再使用一个生成器F从y生成x(F(y))。这样的话，如果如上图所示只能生成一个点附近的数据，那么对于绝大部分样本x，虽然生成了y，但是无法再从y生成对应的x。因为对于这些x来说，他们对应的y可能不在这个点的附近。

接下来，自然就会想到：如果有两个生成器，那么就应该有两个判别器，Dx（对x和F(y)进行判决）和Dy(对y和G(x)进行判决)。如下图所示：

对Dy的优化目标如下：

Dx的优化目标与上式结构相同。

进一步，作者提出了cycle consistency loss，即：

如下图所示：

其优化目标如下：

图和公式解释的很清楚了，多说无益。

最终的优化目标：

其中：

这样就在一定程度上解决了mode collapse，同时不需要使用成对的数据进行训练。

最后，我们一起欣赏一下，可能是CV界最富有诗情画意的论文节选：

这说明，写论文的时候也不要过分墨守成规…

总结：可能是对于数据库的要求比较低，所以Cycle-GAN的适用性不是很广。所以如果有成对的数据库选cGAN，没有的话，Cycle-GAN是一个很好的选择。

完

欢迎讨论 欢迎吐槽