摘要:
上节课学习GAN中的条件生成,这节课学习无监督下的条件生成。
首先介绍了什么是无监督生成:在条件生成的基础上,输入输出双方都是无label的。已知的数据只有两组不同的domain。
无监督生成有两种方法,一种是直接转换,在生成图片后面加上一个判别器,用来识别生成的图片是否符合要求的domain。我们还会担心生成的图片是否和输入图片相关,也提到了一些解决方法。这个方法主要处理图片的画风,颜色。
另一种方法是投影到相同的空间,对于不同的domain,设置不同的domain encoder和decoder。将两组encoder和decoder视为两组不相关的auto-encoder,之后讲了四种方法,把这两组auto-encoder联系起来。这个方法主要是提取转换前后的图片特征,用来处理复杂的图片。
最后还简单介绍了多个domain之间相互转化的做法:starGAN
目录
一.什么是Unsupervised conditional generation
一.什么是Unsupervised conditional generation
上节课学习了CGAN,这节课来看无监督情况下的条件生成。
例如:
有domain x的画作和domain y的画作的data。可以训练一个生成器,无需label data就可以将x风格的画转换成 y风格的画作。
这种方法还可以用在语音和文字上。
二、无监督条件生成有哪些方法
1.direct transformation(直接转换)
通常改变的是颜色、质地,也就是画风的变换。
2.projection to common space
处理差距比较大的两个domain,将domain x的特征提取出来,生成一个face attribute,然后再decoder出domain y风格的图像。
1.direct transformation
首先,我们有两个domain的图像,如果输入domain x的数据,然后用生成器生成对应的domain y的图片。这是监督学习的方法。因为生成器看过domain y的风格,可以直接是生成出来。
对于非监督学习,