WGAN新方案：通过梯度归一化来实现L约束

©PaperWeekly 原创 · 作者 | 苏剑林

单位 | 追一科技

研究方向 | NLP、神经网络

当前，WGAN 主流的实现方式包括参数裁剪（Weight Clipping）、谱归一化（Spectral Normalization）、梯度惩罚（Gradient Penalty），本来则来介绍一种新的实现方案：梯度归一化（Gradient Normalization），该方案出自两篇有意思的论文，分别是《Gradient Normalization for Generative Adversarial Networks》[1] 和《GraN-GAN: Piecewise Gradient Normalization for Generative Adversarial Networks》[2]。

有意思在什么地方呢？从标题可以看到，这两篇论文应该是高度重合的，甚至应该是同一作者的。但事实上，这是两篇不同团队的、大致是同一时期的论文，一篇中了 ICCV，一篇中了 WACV，它们基于同样的假设推出了几乎一样的解决方案，内容重合度之高让我一直以为是同一篇论文。果然是巧合无处不在啊～

基础回顾

关于 WGAN，我们已经介绍过多次，比如《互怼的艺术：从零直达WGAN-GP》和《从Wasserstein距离、对偶理论到WGAN》，这里就不详细重复了。简单来说，WGAN 的迭代形式为：

这里的关键是判别器 是一个带约束优化问题，需要在优化过程中满足 L 约束 ，所以 WGAN 的实现难度就是如何往 里边引入该约束。

这里再普及一下，如果存在某个常数 ，使得定义域中的任意 都满足 ，那么我们称 满足 Lipschitz 约束（L 约束），其中 的