unsupervised conditional GAN 如何训练generator

在B站观看《李宏毅对抗生成网络(GAN)国语教程(2018)》时做个笔记。

问题描述：

unsupervised conditional GAN 由于输入只有input图像，没有label信息，generator会比较难训练。比如，一个要将照片动漫化的任务，为了骗过discriminator，generator或许会将所有的input都训练成某一张真图。

 

 

方法1：direct transformation

1）无视该问题直接训练，但是generator尽量浅，这样它处理得到output不会跟input差太多，可以避免问题训练结果跟input完全不相关的情况。

2）将input和output分别通过一个已经训练好的网络（如VGG），保证这个网络的输出尽可能接近，这样原来输入的两个input和output差别也不会太大。

3）CycleGAN：再训练一个generator2，将output还原至input，保证与原来的input尽可能相似。

方法2：projection to common space

主要思路是通过encode网络从input和true output提取出特征向量(latent space)，再用decode网络将特征向量转为图像域。但是就需要保证对于input和true output来说，特征向量域是同一个空间。例子：Couple GAN，UNIT，ComboGAN，XGAN。。。