[NIPS 2017] Improved Training of Wasserstein GANs (WGAN-GP)

Introduction

• WGAN 增加了 GAN 模型训练的稳定性，但有时仍然会有生成质量不高或难以收敛的问题。作者发现上述问题经常是由 WGAN 中的 weight clipping 导致的，因此作者提出了 WGAN-GP，用 gradient penalty 代替 weight clipping 来给 discriminator 施加 Lipschitz 约束
• WGAN-GP 的生成性能和训练稳定性都超过了 WGAN
  

Difficulties with weight constraints

Capacity underuse

Exploding and vanishing gradients

Gradient penalty

• A differentiable function is 1-Lipschitz if and only if it has gradients with norm less than or equal to 1 everywhere.
  $$D\in 1-\text{ Lipschitz }⟺\Vert {\nabla }_{x}D(x)\Vert \le 1\text{ for all }\mathrm{x}$$此外，作者还给出了 Properties of the optimal WGAN critic
  由引理 1 可知，最优的 discriminator $f$ 满足 gradient norm 几乎处处为 1.
• 鉴于上述性质，作者直接对 discriminator 的输出相对于输入的梯度范数进行了约束，损失函数为
  $$L=\underset{\text{Original critic loss }}{\underbrace{\underset{\tilde{\mathbf{x}}\sim {\mathbb{P}}_g}{\mathbb{E}}[D(\tilde{\mathbf{x}})]-\underset{\mathbf{x}\sim {\mathbb{P}}_r}{\mathbb{E}}[D(\mathbf{x})]}}+\underset{\text{Our gradient penalty }}{\underbrace{\lambda \underset{\hat{\mathbf{x}}\sim {\mathbb{P}}_{\tilde{\mathbf{x}}}}{\mathbb{E}}\left[{\left({\Vert {\nabla }_{\hat{\mathbf{x}}}D(\hat{\mathbf{x}})\Vert }_2-1\right)}^2\right].}}$$其中 ${\mathbb{P}}_g$ 为生成的数据分布，${\mathbb{P}}_r$ 为真实数据分布，后一项为在 WGAN 基础上新添加的梯度惩罚项，使得 discriminator 倾向于满足 $||{\nabla }_{\hat{x}}D(\hat{x})||=1$ for all $\hat{x}$. 作者选取 $\lambda =10$. 另外注意到作者施加的梯度惩罚是 Two-sided penalty，即只是要求梯度范数接近 1 而不要求其一定是小于 1，在实际实验中，作者发现 two-sided penalty 比 owo-sided penalty 表现更好
• Sampling distribution. $D(\hat{x})$ 的定义域是整个图像空间，而在整个图像空间上施加 Lipschitz constraint 是不现实的，因此作者只是在 ${\mathbb{P}}_{\hat{\mathbf{x}}}$ 上采样，${\mathbb{P}}_{\hat{\mathbf{x}}}$ 被定义为 sampling uniformly along straight lines between pairs of points sampled from the data distribution ${\mathbb{P}}_r$ and the generator distribution ${\mathbb{P}}_g$，即从 ${\mathbb{P}}_r$ 和 ${\mathbb{P}}_g$ 中各采样出一个点，把这两个点相连，在这两个点中间做一个 random sample. (作者的 motivation 来自 Proposition 1，the optimal critic contains straight lines with gradient norm 1 connecting coupled points from ${\mathbb{P}}_r$ and ${\mathbb{P}}_g$.) 只采样 ${\mathbb{P}}_r$ 和 ${\mathbb{P}}_g$ 之间的点在实验中有较好的性能，并且直观上看，由于我们在训练时是想把 ${\mathbb{P}}_g$ 往 ${\mathbb{P}}_r$ 方向移动，因此采样它们中间的点也比较合理，可以使得 generator 在将 ${\mathbb{P}}_g$ 往 ${\mathbb{P}}_r$ 方向移动时，discriminator 提供更有意义的梯度信息
  
• No critic batch normalization. 大多数 GAN 在 generator 和 discriminator 里都用了 BN 来帮助稳定训练，但作者认为 BN 将 discriminator 的任务从 mapping a single input to a single output 变为了 mapping from an entire batch of inputs to a batch of outputs，而作者提出的梯度惩罚是针对单个输入样本而非一整个 batch 的，因此惩罚项就没那么有效了。为此，作者没有在 discriminator 里使用 BN，并且建议使用 LN 代替 BN

---

Meaningful loss curves and detecting overfitting

References

• paper: Gulrajani, Ishaan, et al. “Improved training of wasserstein gans.” Advances in neural information processing systems 30 (2017).
• 李宏毅 2021 ML 课程