CycleGAN：Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Network阅读笔记

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

简称CycleGAN
其特色是：Unpaired图像输入和Cycle-Consistent。
作者：Jun-Yan Zhu，Taesung Park等人 伯克利大学 2017 ICCV
https://github.com/junyanz/CycleGAN. 代码
https://arxiv.org/abs/1703.10593. 完整版论文

1. Motivation：

以前的条件图像2图像生成要求pairs图像输入，很不real-world，如下左栏所示：

但作者解决了这个问题，如上图右栏所示的输入即可(源域和目标域是不同风格的图像，喂进去就行，不需要成对对应地出现)。作者首先训练一个模型/映射G：X->Y，然后用对抗损失保证G(X)和Y不可分，但这是无约束的图像生成，因此还同时确保F：Y->X的映射和对抗并施加一个循环一致性损失(这个才是约束条件)使得F(G(X))=X，G(F(Y))=Y。

2. 介绍：

作者要做的：

paired输入和unpaired输入的差别：

双向转换的思想来自于机器翻译，英语->汉语同时汉语->英语，一个模型(实际是一次训练两个模型G和F)同时解决源域到目标域以及目标域到源域的转换问题。

3. 方法

问题定义：

3.1. 对抗损失 Adversarial Loss

3.2. 循环一致性损失 Cycle Consistency Loss

3.3. 总的优化目标

参考：https://blog.csdn.net/puppy_chen/article/details/79577961

6. 限制与讨论

• 涉及颜色和纹理的简单图像变化/翻译/生成任务时很easy，容易成功
• 涉及几何变换时很难，如图12的dog --> cat
• 图12斑马变换失败是因为训练集只有马图像而没有人骑马图像