一文详解Wassertein距离

最新推荐文章于 2025-02-26 20:57:11 发布
最新推荐文章于 2025-02-26 20:57:11 发布
阅读量1.9k 收藏 14
点赞数 1
文章标签： 人工智能 机器学习 深度学习 bmp hierarchy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/113874340
版权
本文深入探讨了Wassertein距离，从Monge问题和Kantorovich问题出发，解释了最优传输映射和传输方案的概念。Wasserstein距离在深度学习中用于衡量概率分布的差异，其连续性特性使其在统计散度中具有优势。文章通过实例解释了1-Wasserstein距离，并介绍了其在Wasserstein GANs中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

©PaperWeekly 原创 · 作者｜孙裕道

学校｜北京邮电大学博士生

研究方向｜GAN图像生成、情绪对抗样本生成

引言

WGAN 的横空出世引出了一个更好度量两个概率分布差异的指标即 Wassertein 距离（或叫做推土机距离），它主要优势就在于该距离具有连续性的特质。TV 散度和 JS 散度的缺点在于这两个距离不具有连续性，这会导致在神经网络参数优化的过程中梯度会消失，KL 散度则是因为该距离不具有对称性即 。

本文会从 Monge 问题开始详细介绍关于 Wassertein 距离的一些相关背景和证明，最后给出了一个实例有助于理解 Wassertein 距离这个概念。

Monge问题（最优传输映射）

一般情况下，假定   和   是完备、可分的度量空间，例如欧式空间的子集  ，通常是紧集。  代表   上所有概率测度构成的空间。

问题1（Monge 问题或最优传输问题）给定两个概率测度  ，  和一个代价函数  :  ，求：

其中由映射   诱导的推前测度   定义为：

这里   是任意可测集合，映射空间：

如下图示，Monge 问题其实是在找一个最优传输映射  ，映射   将空间   映射为空间  ，  是空间   中的区域，  是   在   中原像。需要满足的条件是对于   空间中区域   的测度要与   空间中区域   的测度要相等。根据下图通俗易懂的理解是面积 

最低0.47元/天 解锁文章
PaperWeekly
关注
wasserstein 距离
NockinOnHeavensDoor的博客
08-25 1万+
注明：直观理解而已，正儿八经的严谨证明看最下面的参考。 Earth Mover’s Distance 推土机距离的例子：有一堆土的分布是 PrPrP_r, 其随机变量是xxx,现在要求把这堆土挪动成为分布 PgPgP_g ，其随机变量是yyy(图上是PθPθP_\theta)，这样做的方法很多，那么做最小功的挪动该是什么？这是一个优化问题对应着的最优解是： 这里Π(Pr,Pg...
cpoint 两个点距离_Wasserstein距离学习笔记
weixin_39900468的博客
11-28 716
本文参考 Lilian Weng的文章《From GAN to WGAN》From GAN to WGAN主要针对文中所提到的Wasserstein距离展开，做一些笔记与大家分享。对于绝大多数的机器学习问题，尤其是预测问题和隐变量模型（latent factor model）中，学习到数据集背后所服从的分布往往是模型所要解决的最终问题。在变分推断（variational inference）等领域...
Wassertein距离详解
欢迎来到道的世界
03-06 4209
引言    WGAN的横空出世引出了一个更好度量两个概率分布差异的指标即Wassertein距离（或叫做推土机距离），它主要优势就在于该距离具有连续性的特质。TV散度和JS散度的缺点在于这两个距离不具有连续性，这会导致在神经网络参数优化的过程中梯度会消失，KL散度则是因为该距离不具有对称性即KL(p(x),p(y))≠KL(p(y),p(x))KL(p(x),p(y))\neq KL(p(y),p(x))KL(p(x),p(y))​=KL(p(y),p(x))。本文会从Monge问题开始详细介绍关于Wa
Wasserstein 距离（Wasserstein Distance）
最新发布
m0_74052450的博客
02-26 898
Wasserstein 距离（Wasserstein Distance），也称为Earth Mover's Distance（EMD），是一种用于衡量两个概率分布之间差异的度量方法。它起源于最优传输理论，描述了将一个分布“搬移”成另一个分布所需的最小“工作量”。
Wasserstein距离
m0_37805255的博客
07-23 2万+
Wasserstein距离 1.Wasserstein距离 Wasserstein距离度量两个概率分布之间的距离，定义如下： 是和分布组合起来的所有可能的联合分布的集合。对于每一个可能的联合分布，可以从中采样(x,y)∼得到一个样本x和y，并计算出这对样本的距离||x−y||，所以可以计算该联合分布下，样本对距离的期望值E(x,y)∼[||x−y||]。在所有可能的联合分布中能够对这个...
Wasserstein距离（最优传输距离：
weixin_44862361的博客
06-28 2万+
wasserstein距离
一文详解你不知道的3GPP
01-19
智能手机已经成为了我们日常生活中必不可少的一部分，根据消费者行为分析公司comScore的分析显示，普通消费者每天花费近3个小时通过智能手机使用流媒体、共享、通信和搜索等业务。下面就随网络通信小编一起来了解...
集成电路中的一文详解FPGA的设计与应用
10-16
FPGA（Field-Program mable Gate Array），即现场可编程门阵列，它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。它是作为专用集成电路（ASIC）领域中的一种半定制电路而出现的，既解决了定制电路的不足...
一文详解CMOS模拟开关
01-20
CMOS（本意是指互补金属氧化物半导体——一种大规模应用于集成电路芯片制造的原料）是微机主板上的一块可读写的RAM芯片，用来保存当前系统的硬件配置和用户对某些参数的设定。CMOS可由主板的电池供电，即使系统掉电...
一文详解Spark基本架构原理
02-24
本文来自于简书，ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。文章主要通过八个方面全面介绍了spark的架构原理，更多内容请看全文。ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理...
Wasserstein 距离：用于计算 1D 中的 1- 和 2-Wasserstein 距离的代码-matlab开发
05-31
此代码计算通过样本给出的两个均匀概率分布之间的 1-Wasserstein 距离和 2-Wasserstein 距离。 从图形上讲，它测量输入向量的（归一化）直方图之间的距离。 有关更多详细信息，请参阅 GitHub 存储库。
Wasserstein距离的直观解释
Anne033的博客
12-06 497
综上所述，Wasserstein距离其实就是：把一个分布P变换到另一个分布Q，这么多种联合分布(γ1\gamma1γ1γ2\gamma2γ2γ3\gamma3γ3…)里面，可以使Exy∼γ∣∣x−y∣∣Exy∼γ​∣∣x−y∣∣，最小的那个期望值。我bb完了，懂得都懂。原文链接：https://blog.csdn.net/qq_40394402/article/details/109565803。
Wasserstein距离笔记
caoyongsheng的博客
10-06 6750
Wasserstein距离 Wasserstein距离也叫做推土机距离（Earth Mover's distance），这也是由于它的推导过程可以很形象的用挖土填土来解释，这也是因为该距离定义中由一个分布转变为另一个分布所需要的代价和挖土填土的过程十分相似。考虑两个离散的分布P和Q 为了让两个分布相同，我们一个个变量地观察， *为了让P1和Q1相同，我们需要P1把手头上的3分2到P2去，这样P1和Q1都等于1，此时P2=4，其他数保持不变，这个过程是不是十分像挖掉P1的土填到P2上~ 为了让P2
概率论——Wasserstein距离
热门推荐
CodeTutor
02-23 3万+
Wasserstein距离又叫Earth-Mover距离(EM距离)，用于衡量两个分布之间的距离，定义： W(P1,P2)=infγ∼Π(P1,P2)E(x,y)∼γ[||x−y||]W(P_1, P_2)=\inf_{\gamma \sim\Pi(P_1,P_2)} \mathbb E_{(x,y) \sim \gamma}[||x-y||] Π(P1,P2)\Pi(P_1,P_2)是P1P
一文详解数据治理框架图
12-26
### 数据治理框架的概念 数据治理框架是一套结构化的方法论，用于指导企业在管理和利用数据资产的过程中如何有效地进行决策和支持操作。该框架不仅涵盖了技术和工具的选择，还包括政策制定、标准设定以及流程设计等方面的内容[^3]。 ### 数据治理框架的主要构成要素 #### 1. 利益干系人的定义与角色分配 在DGI数据治理框架中，明确了三个主要的利益干系人群体：数据利益相关者、数据治理办公室和数据专员。这些群体共同构成了数据治理的核心团队，在整个过程中扮演着不同的角色并承担相应的责任[^1]。 - **数据利益相关者**：通常指那些对企业内部或外部使用的各类数据有直接影响的人士，他们可能来自业务部门或是信息技术领域。 - **数据治理办公室**：作为协调中心负责监督整体策略执行情况，并确保各个层面遵循既定方针；同时还要处理日常运营事务如培训教育等。 - **数据专员**：具体落实各项措施的技术人员，专注于特定项目或任务上的细节工作。 #### 2. 职责分工说明 对于上述提到的不同参与者之间的协作方式及各自的任务边界进行了详细的阐述。这有助于避免重复劳动的同时也能够提高工作效率，使得每一个人都清楚自己在整个体系内的位置及其所肩负的责任所在。 #### 3. 知识领域的划分 依据DAMA-DMBOK框架，数据管理被细分为多个相互关联却又独立存在的知识域。这种分类方法可以帮助组织更好地理解复杂的信息生态系统，并针对不同方面采取针对性更强的解决方案。例如，“元数据管理”、“文档记录”、“安全保护”等领域都属于这一范畴内的重要组成部分[^2]。 ```python # Python代码示例展示了一个简单的类来表示数据治理框架中的角色 class DataGovernanceRole: def __init__(self, name, responsibilities): self.name = name self.responsibilities = responsibilities def describe_role(self): print(f"The role of {self.name} includes:") for responsibility in self.responsibilities: print(f"- {responsibility}") data_stakeholder = DataGovernanceRole( "Data Stakeholders", ["Influencing data usage within or outside the organization"] ) governance_office = DataGovernanceRole( "Data Governance Office", [ "Overseeing strategy implementation", "Ensuring compliance with policies" ] ) data_specialist = DataGovernanceRole( "Data Specialists", ["Implementing specific measures on projects"] ) data_stakeholder.describe_role() governance_office.describe_role() data_specialist.describe_role() ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值