概率论——Wasserstein距离

Wasserstein距离又叫Earth-Mover距离(EM距离),用于衡量两个分布之间的距离,定义:

W(P1,P2)=infγΠ(P1,P2)E(x,y)γ[||xy||]

Π(P1,P2)P1P2分布组合起来的所有可能的联合分布的集合。对于每一个可能的联合分布γ,可以从中采样(x,y)γ得到一个样本xy,并计算出这对样本的距离||xy||,所以可以计算该联合分布γ下,样本对距离的期望值E(x,y)γ[||xy||]。在所有可能的联合分布中能够对这个期望值取到的下界infγΠ(P1,P2)E(x,y)γ[||xy||]就是Wasserstein距离。

直观上可以把E(x,y)γ[||xy||]理解为在γ这个路径规划下把土堆P1挪到土堆P2所需要的消耗。而Wasserstein距离就是在最优路径规划下的最小消耗。所以Wesserstein距离又叫Earth-Mover距离。

Wessertein距离相比KL散度JS散度的优势在于,即使两个分布的支撑集没有重叠或者重叠非常少,仍然能反映两个分布的远近。而JS散度在此情况下是常量,KL散度可能无意义。

根据Kantorovich-Rubinstein对偶原理,可以得到Wasserstein距离的等价形式:

W(P1,P2)=sup||f||L1ExP1[f(x)]ExP2[f(x)]

阅读更多

扫码向博主提问

CodeTutor

非学,无以致疑;非问,无以广识
去开通我的Chat快问
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/VictoriaW/article/details/56674777
文章标签: Wessertein 距离 分布
个人分类: 概率论
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭