GAN笔记_李弘毅教程(三)Unsupervised Conditional Generation

简介

风景照—画作（风格迁移）：

Unsupervised Conditional Generation有两种方法：
第一种的直接转化通常是颜色上的改变；
而当差距很大的时候，用第二种方法：

Direct Transformation

1.让$D_Y$判断输入的图片是属于Domain $X$还是Domain $Y$;
2.G产生尽量能骗过D的图片。但如何让G产生正确的和原图相对应的而不只是能骗过D的图片呢？

解决方法：直接无视（2333333……），G自会产生相对应的：

Cycle GAN

但如果G的层数很深的话，那么结果的确可能完全不一样，这时候就需要额外的处理。
可以将G的输入和输出都放置于pre-trained的Encoder Network中，再分别输出一个东西，这两个东西要尽量相似：

或者可以将G的输出再还原与原图尽量相似并且和Domain $Y$通过D作对比，这样就不会产生完全无关的图片：

这就是"Cycle consistency"，可以做双向的。
就是以上过程的一个逆过程：

Cycle consistency的应用：
转为银发
Cycle consistency存在的问题：
隐写术，也就是说当G生成的图片没有原图的一样东西，但转回去就会有这个东西。也就是说有信息被隐藏：

以下三种GAN其实为同一个思想：

StarGAN

用一个G可实现多domain互转

1.用一个D既能识别输入图片是否真实，又能判断出输入图片来自哪个domain;
2.在G中输入目标domain和图片，生成自己制造的假图片；同时把生成的同一个假图片放入同一个G，再告诉G原来的domian是哪一个domain,重新得到一张图片。这时候看重新得到的这张图片和原来G输入的图片越接近越好。
3.这是继续判断：G生成的假图片是否真实，还要看生成的假图片是否的属于那个domain。
（其实就是为了把目标域与目标图片 和 假图片和假图片所属域生成的图片一致，并且假图片能骗到D自己属于目标域）

举例（2个）
PS：domain可以有很多个，不如头发颜色，性别，年纪。由编码来表示domain。

Projection to Common Space

中间属性层是vector，表示x域的图像特征，然后用这些特征输出属于y域的图像。同时原图和被还原出的原图要很相似。

还可以加个D，强迫X域生成的图片再被还原的图片还是属于x域，还可以防止图片变模糊。
但因为上面一个GAN和下面一个GAN是分开训练的，所以G生成的y域图片可能和原图不相关

如何解决？
方法一：可以让Encoder和Decoder共享参数
Encoder前几个layer可以不一样，但后几个一定一样；
Decoder后几个layer可以不一样，但前几个一定一样。
这样就可以把x域和y域的图片的特征被压到同一个latent space中。
但还要给Encoder一个数值，让它知道输入的是来源于哪个domain的。

方法二：在latent space中加一个Domain D,让它无法评判输入进来的vector属于哪个域,这意味着不同域的它们的distribution是一样的。

方法三：用Cycle Consistency,和Cycle GAN很像，只是把G切成了Encoder和Decoder。

方法四：Semantic Consistency,让不同的latent code越接近越好。

应用：

把声音A转为声音B。

在过去，需要两人都说出相同的内容，现在可以不同内容。