ICCV2017论文“Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks” 阅读笔记

ICCV2017论文“Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks” 阅读笔记

题目：Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
作者：Jun-Yan Zhu， Taesung Park等，Berkeley AI Research (BAIR) laboratory
项目地址：https://junyanz.github.io/CycleGAN/

---

简介

• 此文章的提出主要是为了解决一个问题—— image-to-image translation中一对一的训练数据较难获得。一般的训练，生成图像总是要与某个gound truth完全相等（pair），而这种goundtruth在某些场合中很难获取（例如风格迁移）。因此，作者希望在不借助paired example情况下，实现图像转换。
• 基于unpaired example的图像转换可以如此描述：一种服从分布X的图像，通过深度网络，使其服从Y分布。常用的方法是GAN网络，即训练一个网络G，使得生成的图像$y^*=G(x)$与原有的$y$分布相同，难以区别出来。然而，这种训练可能会导致网络出错，使很多输入对应到同一个输出，即输入输出没有一一对应。
  
• 作者认为这种图像转换应该遵循循环一致性（cycle consistent）:如果有一种转换G能使X -> Y，和F: Y -> X，那么X和Y应该是互相转置的关系。作者训练了两个网络G和F，设置一个循环一致性损失，使得$F(G(x)) \approx x$和$G(F(y)) \approx y$，将这个损失和对抗损失联合起来，就实现了完整的unpaired image-to-image translation。
• 本文提出的模型叫做CycleGAN

模型设置

• 上面说到了，CycleGAN需要训练两个网络