Pix2Pix和CycleGAN

GAN的局限性
即便如此，传统的GAN也不是万能的，它有下面两个不足：

1. 没有**用户控制（user control）**能力
在传统的GAN里，输入一个随机噪声，就会输出一幅随机图像。

但用户是有想法滴，我们想输出的图像是我们想要的那种图像，和我们的输入是对应的、有关联的。比如输入一只喵的草图，输出同一形态的喵的真实图片（这里对形态的要求就是一种用户控制）。

 

2. 低分辨率（Low resolution）和低质量（Low quality）问题

尽管生成的图片看起来很不错，但如果你放大看，就会发现细节相当模糊。

传统的GAN的种种局限，那么现在，我们相应的目标就是：

• 提高GAN的用户控制能力
• 提高GAN生成图片的分辨率和质量

• 为了达到这样的目标，和把大象装到冰箱里一样，总共分三步：

• pix2pix：有条件地使用用户输入，它使用成对的数据（paired data）进行训练。
  CycleGAN：使用**不成对的数据（unpaired data）**的就能训练。
  pix2pixHD：生成高分辨率、高质量的图像。

• 

• pix2pix

  pix2pix对传统的GAN做了个小改动，它不再输入随机噪声，而是输入用户给的图片：

  

• 

• CycleGAN

  pix2pix必须使用成对的数据进行训练。

• 
  
  但很多情况下成对数据是很难获取到的，比如说，我们想把马变成斑马，现实生活中是不存在对应的真实照片的：