WGAN为什么需要剪枝操作（裁剪权值）

关于WGAN

WGAN可以说是对GAN的不稳定性提出了一个非常好的解决方案，其损失函数是由w距离演变而来的，证明过程非常牛皮，然而最后用的损失函数却异常简洁，真是牛皮。
损失函数那一块都能看懂，只是不懂为什么要对权值进行裁剪，最近看明白了赶紧记录下来。
内容取自：从零直达 WGAN-GP

为什么需要裁剪权值

首先我们知道wgan是想让生成图片和真实图片的距离越小越好，而这个在鉴别器的损失函数定义中变成了

我们希望 yi′→yi 时，自然地就有

怎么实现这一点呢？一个简单的方案是 D 满足以下约束：

这里 α>0，而最简单的方案就是：

这就是数学中常见的 Lipschitz 约束。如果能够满足这个约束，那么距离就能满足稳定性要求。注意这是个充分条件，不是必要条件，也可以使用其他方案。但不得不说，这是个简单明了的方案。而使得函数 D 满足 Lipschitz 约束的一个充分条件就是：