之前GAN中都没有加入分类信息,都是耍流氓啊。用原始maxD的时候,G学到的容易收敛到一个固定图像。
而用feature matching的话,相同向量可能每次match的都不同,这怎么regression啊,摔 (也可能我是用姿势不对,但有多类的feature matching不靠谱啊)
What:
1.通常GAN把一个随机噪声向量z生成为一张图像。z可能从一个 0到1的随机采样构成。
2.这样连累了GAN中的每个值的作用
- 因为即使你改了向量中一个值,对生成图片的影响也是很小的。一定要改变很多个值去影响生成的结果。
- 每个值应该是有实际含义的(即文题中的interpretable,可翻译的),理想情况下,每个值应该都有物理含义,比如在人脸生成任务中,一个值控制眼睛的颜色,一个控制头发的长度等等。 (类似分类最后fc的每个值都有含义的,虽然定义不了)
3.所以作者建议对GANs基于共同信息(mutual information)的改进,将会得到有意义的向量元素(每个值)
How
1.潜在编码 latent code c
- 原来的GAN G的输出为 G(z) 现在改为 G(z,c)
- c可以包含多种变量,根据不同的分布,比如在MNIST中,c可以一个值来表示类别,一个高斯分布的值来表示手写体的粗细
2.共同信息 mutual information
- 如果使用潜在编码c,