- adversarial auto-encoder和VAE都是希望在latent space上的分布可以服从某种先验分布。
1、GAN
通过分辨器分类real和fake,使得生成器生成的image的分布与real data的分布越来越接近。
how to train?
- 让分辨器分辨real和fake的能力变强
- 训练生成器的能力,欺骗分辨器。
- max D
- min G
important tips
- D训练时,固定G
- 等D训练好了,训练G
- 蓝色:D的分类
- 绿色:生成器的分布
- 黑色:real data
到最后,real和生成的分布重合,D已经分辨不出来了
Q1 Where D go(fixed G)
对于discriminator的训练,希望将关于属于real data分布的似然函数最大,将属于生成分布的对数似然函数最小。即(1-D(x))最大。
kl divergence vs js divergence
Q2:where will G go(after discriminator)
最小化在给定分辨器下的生成器的损失函数就是最小化real data分布和生成器生成数据分布的JS divergence
- p r = p g p_r=p_g pr=pg
DCGAN deconvolution GAN
数据升维。channel减少,h和w增多。
Transposed convolution
反卷积输入与输出的计算
2、JS 散度的缺陷
如何将h和w升维度
- padding
- stride
training stability
在很多情况, P