WGAN-GP 算法和代码结合点

参考链接

http://www.twistedwg.com/2018/02/02/WGAN-GP.html

https://blog.csdn.net/qq_37995260/article/details/91347400

https://blog.csdn.net/ChaoFeiLi/article/details/110739413

请先看WGAN-算法和代码结合点，然后阅读这篇博客。

写这篇文章不是为了介绍WGAN-GP，而是为了把WGAN-GP和Code对应起来。因为最后还是要付诸于实践，而不仅仅就是 介绍什么，因为关于WGAN-GP好的介绍已经很多了。

目录

一、WGAN-GP解决的问题

二、Algorithm and code

---

一、WGAN-GP解决的问题

WGAN中的weight clipping导致的参数集中化和调参上的梯度爆炸和梯度消失问题

WGAN-GP解决 了问题将参数与限制联系起来达到真实的Lipschitz限制条件

所以WGAN-GP的贡献是：

提出了一种新的lipschitz连续性限制手法—梯度惩罚，解决了训练梯度消失梯度爆炸的问题。

比标准WGAN拥有更快的收敛速度，并能生成更高质量的样本

提供稳定的GAN训练方式，几乎不需要怎么调参，成功训练多种针对图片生成和语言模型的GAN架构

 对比WGAN-GP与WGAN

weight clipping对样本的全局生效，但由于间接限制判别器的梯度norm，会导致一不小心就出现梯度消失或者梯度爆炸

gradient penalty 只对真假样本集中区域，及其中间的过渡地带生效，但由于直接把判别器的梯度norm限制为1附近，所以梯度的可控性较强，容易调整到合适的尺度大小。

二、Algorithm and code

前面的不做过多的解释，如果有不理解，可以看我的上一篇博客：WGAN-算法和代码结合点

3：m表示每一个batch size 的大小，逐个样本进行循环

5：根据生成器参数θ，生成样本

6：根据真样本和生成样本得到，在真实样本和生成样本之间随机插值，希望这个约束可以“布满”真实样本和生成样本之间的空间

对应的代码：第一个对应tensorflow，第二个对应pytorch

7：求判别器的损失函数，最后一项是λ*梯度的二范数

9：根据batch size中损失函数的均值，采用Adam优化器，优化判别器参数

12：计算生成器损失函数，采用Adam优化器，优化生成器参数