Wasserstein GAN（WGAN）

0. 前言

生成对抗网络 (Generative Adversarial Network, GAN) 能有效生成逼真新数据，是一种实用的生成模型。后续众多深度学习研究论文针对原始 GAN 的缺陷与局限提出了大量改进方案。我们知道，GAN 存在训练难度大、易发生模式崩溃等问题。模式崩溃是指生成器在损失函数已优化的情况下仍持续产生相同输出的现象。以MNIST手写数字数据集为例，发生模式崩溃时，由于数字 4 和 9 外形相似，生成器可能仅会输出这两类数字。Wasserstein GAN (WGAN) 通过采用 Wasserstein 距离替代原始损失函数，成功解决了训练稳定性与模式崩溃问题。

1. GAN 面临的挑战

在 GAN 中，判别器与生成器的目标相互对立，极易导致训练失稳：判别器致力于准确区分真实数据与生成数据，而生成器则竭力欺骗判别器。若判别器的学习速度领先于生成器，生成器参数将无法有效优化；反之，若判别器学习速度滞后，梯度在传递至生成器前就可能消失。最严重的情况是，当判别器无法收敛时，生成器将无法获得任何有效反馈。
WGAN 研究指出，GAN 固有的不稳定性源于其基于 JS