经典论文复现 | ICML 2017大热论文：Wasserstein GAN

过去几年发表于各大 AI 顶会论文提出的 400 多种算法中，公开算法代码的仅占 6%，其中三分之一的论文作者分享了测试数据，约 54% 的分享包含“伪代码”。这是今年 AAAI 会议上一个严峻的报告。 人工智能这个蓬勃发展的领域正面临着实验重现的危机，就像实验重现问题过去十年来一直困扰着心理学、医学以及其他领域一样。最根本的问题是研究人员通常不共享他们的源代码。 

可验证的知识是科学的基础，它事关理解。随着人工智能领域的发展，打破不可复现性将是必要的。为此，PaperWeekly 联手百度 PaddlePaddle 共同发起了本次论文有奖复现，我们希望和来自学界、工业界的研究者一起接力，为 AI 行业带来良性循环。

作者丨文永明 

学校丨中山大学

研究方向丨计算机视觉，模式识别

最近笔者复现了 Wasserstein GAN，简称 WGAN。Wasserstein GAN 这篇论文来自 Martin Arjovsky 等人，发表于 2017 年 1 月。

论文作者用了两篇论文来阐述 Goodfellow 提出的原始 GAN 所存在的问题，第一篇是 WGAN 前作 Towards Principled Methods for Training Generative Adversarial Networks，从根本上分析 GAN 存在的问题。随后，作者又在 Wasserstein GAN 中引入了 Wasserstein 距离，提出改进的方向，并且给出了改进的算法实现流程。

原始GAN存在的问题

原始的 GAN 很难训练，训练过程通常是启发式的，需要精心设计的网络架构，不具有通用性，并且生成器和判别器的 loss 无法指示训练进程，还存在生成样本缺乏多样性等问题。 

在 WGAN 前作中，论文作者分析出原始 GAN 两种形式各自存在的问题，其中一种形式等价于在最优判别器下，最小化生成分布与真实分布之间的 JS 散度。但是对于两个分布：真实分布 Pr 和生成分布 Pg，如果它们不重合，或者重合的部分可以忽略，则它们的 JS 距离是常数，梯度下降时，会产生的梯度消失。

而在 GAN 的训练中，两个分布不重合，或者重合可忽略的情况几乎总是出现，交叉熵（JS 散度）不适合衡量具有不相交部分的分布之间的距离，因此导致 GAN 的训练困难。 

另一种形式等价于在最优判别器下，既要最小化生成分布与真实分布之间的 KL 散度，又要最大化其 JS 散度，优化目标不合理，导致出现梯度不稳定现象，而且 KL 散度的不对称性也使得出现了 collapse mode 现象，也就是生成器宁可丧失多样性也不愿丧失准确性，生成样本因此缺失多样性。

在 WGAN 前作中，论文作者提出过渡解决方案，通过对真实分布和生成分布增加噪声使得两个分布存在不可忽略的重叠，从理论上解决训练不稳定的问题，但是没有改变本质，治标不治本。

Wasserstein距离

在 WGAN 中论文作者引入了 Wasserstein 距离来替代 JS 散度和 KL 散度，并将其作为优化目标。基于 Wasserstein 距离相对于 KL 散度与 JS 散度具有优越的平滑特性，从根本上解决了原始 GAN 的梯度消失问题。 

Wasserstein 距离又叫 Earth-Mover（EM）距离，论文中定义如下：

其中是指 Pr 和 Pg 组合所有可能的联合分布 γ 的集合，中的每个分布的边缘分布都是 Pr 和 Pg。具体直观地来讲，就是 γ(x,y) 指出需要多少“质量”才能把分布 Pg 挪向 Pr 分布，EM 距离就是路线规划的最优消耗。 

论文作者提出一个简单直观的例子，在这种情况下使用 EM 距离可以收敛但是其他距离下无法收敛，体现出 Wasserstein 距离的优越性。

考虑如下二维空间中 ，令 Z~U[0,1] ，存在两个分布 P0 和 Pθ，在通过原点垂直于 x 轴的线段 α 上均匀分布即 (0,Z)，令 Pθ 在线段 β 上均匀分布且垂直于 x 轴，即 (θ,Z)，通过控制参数 θ 可以控制着两个分布的距离远近，但是两个分布没有重叠的部分。

很容易得到以下结论：

作者用下图详细表达了在上面这个简单例子下的 EM 距离（左图）和 JS 散度（右图）。

当，只有 EM 距离是平滑连续的，在 EM 距离下收敛于 P0，而其他距离是突变的，无法收敛。因此 EM 距离可以在两个分布没有重叠部分的情况下提供有意义的梯度，而其他距离不可以。

Wasserstein GAN算法流程

论