Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
简称CycleGAN
其特色是:Unpaired图像输入和Cycle-Consistent。
作者:Jun-Yan Zhu,Taesung Park等人 伯克利大学 2017 ICCV
https://github.com/junyanz/CycleGAN. 代码
https://arxiv.org/abs/1703.10593. 完整版论文
1. Motivation:
以前的条件图像2图像生成要求pairs图像输入,很不real-world,如下左栏所示:
但作者解决了这个问题,如上图右栏所示的输入即可(源域和目标域是不同风格的图像,喂进去就行,不需要成对对应地出现)。作者首先训练一个模型/映射G:X->Y,然后用对抗损失保证G(X)和Y不可分,但这是无约束的图像生成,因此还同时确保F:Y->X的映射和对抗并施加一个循环一致性损失(这个才是约束条件)使得F(G(X))=X,G(F(Y))=Y。
2. 介绍:
作者要做的:
paired输入和unpaired输入的差别:
双向转换的思想来自于机器翻译,英语->汉语同时汉语->英语,一个模型(实际是一次训练两个模型G和F)同时解决源域到目标域以及目标域到源域的转换问题。
3. 方法
问题定义:
3.1. 对抗损失 Adversarial Loss
3.2. 循环一致性损失 Cycle Consistency Loss
3.3. 总的优化目标
参考:https://blog.csdn.net/puppy_chen/article/details/79577961
6. 限制与讨论
- 涉及颜色和纹理的简单图像变化/翻译/生成任务时很easy,容易成功
- 涉及几何变换时很难,如图12的dog --> cat
- 图12斑马变换失败是因为训练集只有马图像而没有人骑马图像