[GAN学习笔记] 基础GAN（三）——WGAN

本笔记基于 deeplearning.ai 的 Generative Adversarial Networks (GANs) 专项课程

1. 模式坍塌（Mode collapse）

模式（mode）是特征分布中的峰值。一般来说，现实世界中的分布中一般存在多种模式，如MINST数据集中的十种数字就是十种模式。模式坍塌（mode collapse）是指GAN产生的样本单一，其认为满足某一分布的结果为true，其他为False，导致以上结果。比方说利用MINST产生手写数字时，生成器陷入一种模式，只产生特定类型的数字而不产生其他数字的状态，即为模式坍塌。

2. BCE存在的问题

随着GAN的训练，会使生成器的分布向真实的分布逼近。但是鉴别器相比生成器来说更好训练，当鉴别器改善的过多时，BCE损失函数会到达一个相对平缓的地区，出现梯度消失问题（vanishing gradients），进而导致生成器的参数很难改善。

3. EMD距离和W-Loss

EMD的全名叫做 Earth Mover’s Distance，可以解决BCE损失函数中的梯度消失问题。EMD距离的大小与距离和搬运的次数有关。之所以EMD能够解决梯度消失问题，是因为用它构件的损失函数的梯度不会为0。与之前鉴别器所给出的相似程度（概率，在0-1之间）不同，EMD给出的是对于真假之间相似性的评分，这也就是为什么这里的鉴别器叫做评分器（critic）的原因。

原生GAN中的训练鉴别器时的成本函数可以写为:

$\underset{d}{\min }\underset{g}{\max }-$