分布的距离（Distance of Distributions）

最新推荐文章于 2022-04-20 16:22:45 发布
最新推荐文章于 2022-04-20 16:22:45 发布
阅读量1.9k 收藏
点赞数 1
分类专栏： 论文基础知识点
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40680322/article/details/108800582
版权
本文介绍了四种衡量概率分布距离的方法：全变分距离（Total Variation）、Kullback-Leibler（KL）散度、Jensen-Shannon（JS）散度和Wasserstein距离。Wasserstein距离通过最小化分布转换的成本来量化分布间的距离，即使分布没有重叠也能有效评估。然而，它在优化上存在挑战。此外，还讨论了Wasserstein距离在Learning parallel lines问题中的应用。
摘要由CSDN通过智能技术生成

( X , Σ ) (X,\Sigma) (X,Σ)为一个measurable space.

1. Total Variation (TV，全变分) distance

δ ( P r , P g ) = s u p A ∈ Σ ∣ P r ( A ) − P g ( A ) ∣ \delta(P_r,P_g)=\mathop{sup}\limits_{A\in \Sigma}|P_r(A)-P_g(A)| δ(Pr​,Pg​)=A∈Σsup​∣Pr​(A)−Pg​(A)∣
当 X X X是有限空间时，有 δ ( P , Q ) = m a x x ∈ X ∣ P ( x ) − Q ( x ) ∣ \delta(P,Q)=\mathop{max}\limits_{x\in X}|P(x)-Q(x)| δ(P,Q)=x∈Xmax​∣P(x)−Q(x)∣

参考：

Total Variation

2. Kullback-Leibler (KL) divergence

K L ( ( P r ∣ ∣ P g ) ) = E ( l o g ( P r ( x ) P g ( x ) ) P r ( x ) ) KL((P_r||P_g))=E(log(\frac{P_r(x)}{P_g(x)})P_r(x)) KL((Pr​∣∣Pg​))=E(log(Pg​(x)Pr​(x)​)Pr​(x))
K L ( P r ∣ ∣ P g ) = 1 n ∑ i = 1 n l o g ( P r

最低0.47元/天 解锁文章
梁小娘子
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
几个常用的计算两个概率分布之间距离的方法以及python实现
星月夜话
05-29 3327
1. 欧氏距离(Euclidean Distance) 欧氏距离源自欧氏空间中两点间的直线距离，是最常见的一种距离计算方式。计算公式是两个矩阵中对应元素之差的平方和再开方。 python实现： 2. 曼哈顿距离(Manhattan Distance) 曼哈顿距离又称为“城市街区距离”或者“出租车距离”，由十九世纪的赫尔曼·闵可夫斯基所创词汇 ，用以计算两个点在标准坐标系上的绝对轴距总和。 上图中蓝色的线是欧氏距离，红色、蓝色和黄色的线是曼哈顿距离。曼哈顿距离的计算公式是两个矩阵中对应元素.
数据分析之数据离散程度量化-概率密度分布
最新发布
Mr_Pingg的博客
12-26 624
定义根据公式来看，是交叉熵减去信息熵，认作“近似一个分布与另一个分布时损失了多少信息”，“较不可能发生的事件具有更高的信息量”，按这个标准的话,KL散度应该是一个分布变成另一个分布不确定度(或者信息量)升高的数量。例如，KL散度对于概率分布的“距离”有严格的定义，而EMD对于分布的结构和形状更加敏感。它是KL散度的平均，用于衡量两个概率分布之间的相似性。用于衡量观察值与期望值之间的差异，适用于比较观察到的数据分布和期望的理论分布。用于比较两个分布的累积分布函数（CDF），衡量它们之间的最大垂直距离。
衡量两个概率分布的距离（KL散度、JS距离）评价两个变量的相似度MALTAB代码
05-15
衡量两个概率分布P(x);Q(x) 的距离 包括 Kullback–Leibler divergence和Jensen–Shannon divergence
统计分布的距离/相似性计算
Hello World
11-25 1万+
统计分布的距离/相似性计算 KL散度（Kullback-Leible divergence） KL散度可以用于描述两个分布之间的距离，假设p(x)p(x)p(x)与q(x)q(x)q(x)是随机变量X的分布，则它们的KL散度为 D(p∣∣q)=∫−∞+∞p(x)logp(x)q(x)dxD(p||q) = \int_{ - \infty }^{ + \infty } {p(x)log\frac...
概率分布之间的距离度量以及python实现(四)
weixin_33972649的博客
06-20 1056
1、f 散度（f-divergence) KL-divergence 的坏处在于它是无界的。事实上KL-divergence 属于更广泛的 f-divergence 中的一种。 如果P和Q被定义成空间中的两个概率分布，则f散度被定义为： 一些通用的散度，如KL-divergence, Hellinger distance, 和total variation distance，都是f散度的...
Distance distributions in random networks
06-18
不错的文章，里面关于距离分布的总结很好，推导出了使用于一般情况的距离分布公式
Marginal and conditional distributions of multivariate.zip
09-22
标题“Marginal and conditional distributions of multivariate.zip”暗示我们将探讨的是多元高斯分布中的边际分布和条件分布。这两个概念在理解变量间的独立性和依赖性方面扮演着重要角色。 **边际分布**： 在...
Handbook of Statistical Distributions with Applications
11-15
Statistical distributions and models are commonly used in many applied ar- eas such as economics, engineering, social, health, and biological sciences. In this era of inexpensive and faster personal ...
Normal Distributions63正态分布.pptx
10-12
Normal Distributions63正态分布.pptx
Filtering Distributions of Normals for Shading Antialiasing
11-02
Filtering Distributions of Normals for Shading Antialiasing Filtering Distributions of Normals for Shading Antialiasing 是一篇关于计算机图形学领域的研究论文，讨论了高频照明效果的渲染问题，例如在曲面...
相似性度量（距离度量）方法（一）：基本种类与公式
weixin_60737527的博客
04-20 2万+
相似性度量（或距离度量）方法在多元统计中的聚类分析、判别分析中的距离判别法、泛函分析、机器学习等方面都有应用。所以对于数据分析、机器学习等方面，掌握相似性的不同度量方法是十分重要且必要的。 相似性度量与距离度量本质上是同一件事情。如果两组数据之间的距离越大，那么相似性越小；反正，如果相似性越大，那么距离越小，这是可以直观理解的。 但是距离度量与相似度量还是有一点点区别的。距离度量，一般情况下距离是大于0的数；而相似性或相异性通常数值介于[0,1]之间。相似性与相异性统称为邻近度。 对于相似性的度量，首
计算与推断思维 十、假设检验
热门推荐
龙哥盟
01-04 3万+
十、假设检验 原文：Testing Hypotheses 译者：飞龙 协议：CC BY-NC-SA 4.0 自豪地采用谷歌翻译 数据科学家们经常面对世界的是或不是的问题。你在这个课程中看到了一些这样的问题的例子： 巧克力对你有好处吗？ Broad Street 水泵的水是否会导致霍乱？ 加州的人口统计在过去的十年中有所改变吗？ 我们是否回答这些问题取决于我们的数据。
分布的相似度（距离）计算
yetong_
04-06 1万+
作者：知乎用户 链接：https://www.zhihu.com/question/39872326/answer/83688277 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 1. Kullback-Leibler divergence 对于两个分布和，KL散度定义为。可以看出，如果要小，那么大的地方必须要大（否则会很大）；而在小的地方
统计学中及计算机视觉中的各种 距离 汇总。。。
klzhang的专栏
04-17 7070
首先说一下距离三要素：       1）非负性；2）对称性；3）三角不等式。（PS：有些距离并不能同时满足） 集中一下都有啥距离： L1距离，L2距离（欧式距离），L∞距离，欧氏距离平方(squared Euclidean distance)，intersection distance, Kullback-Leibler(K-L)距离，Jeffrey距离，χ2距离，巴氏距离，Consine
概率论——Wasserstein距离
CodeTutor
02-23 3万+
Wasserstein距离又叫Earth-Mover距离(EM距离)，用于衡量两个分布之间的距离，定义： W(P1,P2)=infγ∼Π(P1,P2)E(x,y)∼γ[||x−y||]W(P_1, P_2)=\inf_{\gamma \sim\Pi(P_1,P_2)} \mathbb E_{(x,y) \sim \gamma}[||x-y||] Π(P1,P2)\Pi(P_1,P_2)是P1P
Total Variation Denosing
胖胖熊的专栏
05-07 1万+
（来自wiki  total variation denoising）In signal processing, Total Variation denoising, also known as total variation regularization is a process, most often used in digital image processing that has applications in noise removal. It is based on the principle
概率分布之间的距离度量以及python实现
aizhao3648的博客
07-12 917
1.欧氏距离(Euclidean Distance) 欧氏距离是最易于理解的一种距离计算方法，源自欧氏空间中两点间的距离公式。(1)二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离：(2)三维空间两点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离：(3)两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的欧氏距离：(4...
近邻的距离度量表示法
Havenoidea 的专栏
10-11 4479
K近邻算法的核心在于找到实例点的邻居，这个时候，问题就接踵而至了，如何找到邻居，邻居的判定标准是什么，用什么来度量。这一系列问题便是下面要讲的距离度量表示法。但有的读者可能就有疑问了，我是要找邻居，找相似性，怎么又跟距离扯上关系了？     这是因为特征空间中两个实例点的距离和反应出两个实例点之间的相似性程度。K近邻模型的特征空间一般是n维实数向量空间，使用的距离可以使欧式距离，也是可以是其
两个正态分布的Wasserstein距离 pytorch
04-26
可以使用PyTorch中的torch.distributions模块来计算两个正态分布之间的Wasserstein距离。具体步骤如下： 1. 导入必要的模块 ``` import torch from torch.distributions.normal import Normal ``` 2. 定义两个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值