李宏毅GAN学习（三）Unsupervised CGAN

CGAN是监督学习，需要样本标签才能训练

Unsupervised CGAN训练的时候不需要样本的标签

一般有两种方式完成无监督的CGAN

第一种方法：direct transformation

以上就是用自然风景生成一张梵高的画的网络模型结构

domain X与domain Y是两个分来的数据集，两者之间没有一对一的标签

生成器利用自然风景生成一张梵高的画，判别器判断其输入是生成器生成的还是真实的梵高的画。如果最终生成器生成的图片能够骗过判别器，则说明生成器可以利用自然风景产生梵高的画。

但是以上的模型有一个问题：生成器可能生成一个是梵高的画，但是跟输入的自然风景无关一点关系都没有，比如无论输入什么进入生成器，生成器产生的都是，这样生成器根本就无法得到有效的学习（因为可以骗过判别器）。

为了解决这个问题，需要生成器生成的图片不仅可以骗过判别器，还需要跟输入有一定的关系。最简单的解决方法就是无视这个问题，因为生成器（网络不是很深的时候）的输出跟输入不会差太多。

如果生成器网络是很深的时候，其输出跟输入差别可能比较大。这个时候可以采用下面的网络结构：

将生成器的输入、输出都送入一个已经训练好的网络得到图片特征（比如VGG）。生成器除了要骗过判别器以外还需要输入输出的图像特征比较接近。

还有另外一种方法：

同时训练两个生成器两个判别器（颜色相同的网络就是同一个网络）

上面介绍的是图片在两个风格中转，如果需要在4个风格中转，可以训练个GAN来完成，也可以用StarGAN来弄

第二种方法：projection  on common space 

这种方式也以图片转换来说明：

可以分开训练两个大网络，真正转换的时候用下图的方式（上图四个小网络为不通的网络，相同的颜色属于同一个大网络），

上面的方法会比较模糊，可以用下面的网络改进

 

上面问题还有一个问题，因为两个大网络是各自训练的，所有中的橘色的部分有可能对于两个网络来说的意义不一样（比如第一个网络认为橘色第一个元素是头发长度，但是第二个网络认为是头发颜色）

解决方法：

1、共享参数（虚线的参数共享）：

2、添加一个判别器

3、cycle consistency

4、semantic Consistency