一文详解Wassertein距离

©PaperWeekly 原创 · 作者｜孙裕道

学校｜北京邮电大学博士生

研究方向｜GAN图像生成、情绪对抗样本生成

引言

WGAN 的横空出世引出了一个更好度量两个概率分布差异的指标即 Wassertein 距离（或叫做推土机距离），它主要优势就在于该距离具有连续性的特质。TV 散度和 JS 散度的缺点在于这两个距离不具有连续性，这会导致在神经网络参数优化的过程中梯度会消失，KL 散度则是因为该距离不具有对称性即 。

本文会从 Monge 问题开始详细介绍关于 Wassertein 距离的一些相关背景和证明，最后给出了一个实例有助于理解 Wassertein 距离这个概念。

Monge问题（最优传输映射）

一般情况下，假定   和   是完备、可分的度量空间，例如欧式空间的子集  ，通常是紧集。  代表   上所有概率测度构成的空间。

问题1（Monge 问题或最优传输问题）给定两个概率测度  ，  和一个代价函数  :  ，求：

其中由映射   诱导的推前测度   定义为：

这里   是任意可测集合，映射空间：

如下图示，Monge 问题其实是在找一个最优传输映射  ，映射   将空间   映射为空间  ，  是空间   中的区域，  是   在   中原像。需要满足的条件是对于   空间中区域   的测度要与   空间中区域   的测度要相等。根据下图通俗易懂的理解是面积