Tensorflow(9): GAN,WGAN原理及实战

• adversarial auto-encoder和VAE都是希望在latent space上的分布可以服从某种先验分布。

1、GAN

通过分辨器分类real和fake，使得生成器生成的image的分布与real data的分布越来越接近。

how to train？

• 让分辨器分辨real和fake的能力变强
• 训练生成器的能力，欺骗分辨器。

• max D
• min G

important tips

• D训练时，固定G
• 等D训练好了，训练G

• 蓝色：D的分类
• 绿色：生成器的分布
• 黑色：real data

到最后，real和生成的分布重合，D已经分辨不出来了

Q1 Where D go（fixed G）

对于discriminator的训练，希望将关于属于real data分布的似然函数最大，将属于生成分布的对数似然函数最小。即(1-D(x))最大。

kl divergence vs js divergence

Q2：where will G go(after discriminator)

最小化在给定分辨器下的生成器的损失函数就是最小化real data分布和生成器生成数据分布的JS divergence

• $p_r=p_g$

DCGAN deconvolution GAN

数据升维。channel减少，h和w增多。

Transposed convolution