原始GAN的问题

原始GAN的问题一：

GAN的生成器一般是从某个低维（如100）的随机分布中采样出一个编码向量再经过一个神经网络生成出一个高维样本（如64*64=4096）。当生成器的参数固定时，生成样本的概率分布虽然定义在4096维上，但它本身所有可能产生的变化已经被100维限制了，再考虑神经网络的映射降维，最终可能比100还小，所以生成样本的支撑集就在4096维空间中构成一个最多100维的低维流形，撑不满整个高维空间，而一开始Pr和Pg几乎没什么关联，所以基本重叠不存在，故测度为0，即几乎不重叠。

在最优判别器下，最小生成器的loss等价于最小化Pr和Pg之间的JS散度，而由于Pr和Pg几乎没有重叠，所以无论它们相聚多远JS散度都是常数log2，最终导致生成器的梯度近似为0，梯度消失。

GAN不稳定的原因：

判别器训练的太好，生成器梯度消失，生成器loss降不下去；判别器训练的不好，生成器的梯度不准，四处乱跑。只有判别器训练的不好不坏才行，但这个火候难把握，所以GAN训练难。

原始GAN的问题二：

最小化第二种生成器loss函数，会等价于最小化一个不合理的距离衡量，导致两个问题，一是梯度不稳定，而是生成单一缺乏多样性即collapse model。

 

 

参考资料：https://zhuanlan.zhihu.com/p/25071913