原文链接:https://arxiv.org/abs/1703.10593
Contributions
pix2pix的image-to-image translation需要图像对,而获得这样的训练数据不仅困难而且昂贵。而目前不需图像对的方法通常是domain-specific的,或者需要假定一些先验,通用性不够,并且效果也不是太好。
本文提出了cycle consistency loss(循环一致性损失),使得通用的 unpaired image-to-image translation成为可能。只需要给定两个domain的 image collection,CycleGAN就能挖掘集合层面的监督信息,实现图像迁移。
文章讨论了CycleGAN的缺陷:
- CycleGAN在颜色和纹理上的变换还是比较成功的,但在比较大的几何变换上还是比较难达到的
- 和 paired training对比而言,还是具有很大差距的
Methodology (原文图片,侵删)
Model 包含两个G网络( )和两个D网络(
)。生成网络
的功能是:使图像域
的图像经过该网络生成图像域
的图像,而
则相反。判别网络
的功能是:判别网络
生成的图像域
和目标图像域
的差异,而
也类似
Adversarial Loss
两个映射函数都应用对抗性损失,对应映射函数 ,我们应用如下损失:
试图生成图像
看起来与
域中的图像相似,而
的目的是区分平移样本
和真实样本
。
的目标是最小化这个目标,而
则试图最大化这个目标,即
类似的对应映射 和鉴别器
,即
Cycle Consistency Loss
理论上,对抗性训练可以学习映射 和
,它们分别产生与目标域
和
相同分布的输出。仅靠对抗损失不能保证所学习的函数能将单个输入
映射到期望的输出
。为此,本文提出了Cycle Consistency Loss,如Figure 3 (b)。对于来自
域的每一幅图像
,图像循环转化应该能够将
带回原始图像:
,称之为forward cycle consistency。类似的如Figure 3 (c),对于每个图像
,
和
也应该满足:
,用循环一致性损失来激励这种行为:
Full Objective
综合上述loss, 最终的训练loss即是
训练目标为