李弘毅老师GAN笔记（三），Unsupervised Conditional GAN

目录

0 概述

1 直接转换

1.1 第一种方法

1.2 第二种方法

1.3 第三种方法

1.4 StarGAN

2 基于特征转换

2.1 第一种方法

2.2 第二种方法

 2.3 第三种方法

 2.4 第四种方法

3 其他应用 

---

0 概述

两种方法，如图1所示，方法一是直接转换，方法二是先得到特征再解码。

图1 两种方法简介

1 直接转换

1.1 第一种方法

如图一所示，判别网络判断生成图片是否是第二类，但是容易出现生成图像与输入图像不相关，不过可以通过设计生成网络来解决，简单的生成网络则可以使得输入与输出相关。

图2 方法一示意图

1.2 第二种方法

如图 3 所示，可以通过一个预训练的编码器得到生成网络的输入与输出的特征，使其越接近越好。

图3 第二种方法示意图

1.3 第三种方法

如图4所示，是一种类似环形的形式，叫做 Cycle GAN。

图4 第三种方法示意图

1.4 StarGAN

是一种可以生成各种多种类别的网络，由于只使用了一个生成网络，所以类似星星的形状，如图5所示，其结构图如图6所示，示例如图7所示。

图5 StartGAN

图6 StarGAN 结构图

 

图7 StarGAN 示例

2 基于特征转换

理想效果如图8所示，下面也是介绍各种方法。

图8 基于特征转换理想效果

2.1 第一种方法

共享编码网络和解码网络的部分权值。

图9 第一种方法示意图

2.2 第二种方法

在特征出加判别网络，判断为哪一类输出的特征，期望两种类别输出特征相同。如图10所示。

图10 第二种方法示意图

 2.3 第三种方法

叫做ComboGAN，是一种循环结构，要求最终还原图像与输入图像相同，如图 11 所示。

图11 第三种方法示意图

 2.4 第四种方法

与第三种类似，只不过是要求最终两种类别输出特征相同。如图12所示。

图12 第四种方法示意图

3 其他应用 

除了可以用作图像领域，也可以用作其他领域，比如声音领域，输入是一个人的声音，输出是另一种人的声音。在过去用传统的监督学习的话，需要获得两个人说相同的句子的录音，而学习了今天的内容，获得不同内容录音也可以了。