李宏毅《GAN Lecture》学习笔记6 - WGAN和EBGAN

GAN的提升方法

本节主要介绍对GAN的改进方法~课程pdf和video。

Wasserstein GAN(WGAN)

JS Divergence并不适用！为什么这样说？下面给出解释~

在很多情况下，Pg和Pdata是没有重合的。原因有两个：

1. 数据本身的特性决定的，地位空间的数据在高维空间的manifold，所以，能够出现重叠的地方，几乎可以忽略；
2. 采样问题，训练过程中，其实是随机采样，而采样的数量相对于分布，可以说是微乎其微，能够有重合的比例也是小的可以忽略不计。（个人觉得这个理由更合理一些~）
   
   对于没有重合的情况下，JS divergence的值都是log2。所以，下面不同分布，在没有重合前，都是log2。这样，就没法判断谁好谁坏了。