【DL经典回顾】距离度量大汇总（20-海氏距离(Hellinger distance)）

已于 2024-04-08 10:47:04 修改
阅读量1.4k 收藏 32
点赞数 31
分类专栏： 距离度量大汇总【公式&代码&解释】 文章标签： python 机器学习 人工智能 神经网络 numpy Hellinger距离
于 2024-04-08 10:42:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42983182/article/details/137499207
版权
本文详细介绍了海氏距离，一种衡量概率分布差异的度量方法，其在深度学习和机器学习中的重要性。文章对比了海氏距离与欧式距离、KL散度和余弦相似度，并讨论了其在各种场景下的应用和局限性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

【DL经典回顾】距离度量大汇总（20-海氏距离(Hellinger distance)）

文章目录


在深入探讨深度学习（DL）时，我们常常会发现，有些基础概念虽小，却影响深远。距离度量就是这样一个看似简单，实则至关重要的概念。它是机器学习和深度学习中不可或缺的一环，影响着模型的性能和应用的广泛性。在本专栏中，我们将进行一次深度的探索，回顾距离度量的各种方法，并理解它们的重要性和应用。

一、海氏距离(Hellinger distance)

1. 定义和公式

海氏距离（Hellinger Distance）是一种衡量两个概率分布差异的度量方法。对于离散概率分布，海氏距离定义为：

H ( P ,

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hellinger distance
a200800170331的专栏
10-21 1万+
在概率论和统计理论中，Hellinger距离被用来度量两个概率分布的相似度。它是f散度的一种（f散度——度量两个概率分布相似度的指标）。Hellinger距离被定义成Hellinger积分的形式，这种形式由Ernst Hellinger在1909年引进。   目录 ·1 定义   ·1.1 度量理论   ·1.2 基于Lebesgue度量的概率理论   ·1
【DL经典回顾】距离度量大汇总（0-导言及距离度量方法列表）
悦学共鸣，温柔以待，汇聚光芒，共同成长
04-02 1216
在本专栏中，我们将进行一次深度的探索，回顾距离度量的各种方法，并理解它们的重要性和应用。
Hellinger Distance（赫林格距离）
yisun123456的博客
11-02 1409
给定两个离散概率分布 P={p1,p2,…,pn} 和 Q={q1,q2,…,qn}，它们的Hellinger距离定义为：对于连续分布，定义类似：在该公式中，平方根操作使得Hellinger距离在概率空间内具有特殊性质，尤其是它使得结果保持在区间0,1之内。Hellinger距离通过对概率分布的平方根处理来衡量相似性，其范围被限制在0,10,10,1，且是对称的。这使得Hellinger距离适合用于需要对称性且概率差异较大的场景。
机器学习中的数学——距离定义（二十二）：海林格距离（Hellinger Distance）
热门推荐
冯·诺依曼
01-09 2万+
我们假设ppp和qqq是两个概率测度，并且它们对于第三个概率测度λ\lambdaλ来说是绝对连续的，则ppp和qqq的海林格距离（Hellinger Distance）的平方被定义如下： H2(p,q)=12∫(dpdλ−dqdλ)2dλH^2(p,q)=\frac{1}{2}\int(\sqrt{\frac{\text{d}p}{\text{d}\lambda}}-\sqrt{\frac{\text{d}q}{\text{d}\lambda}})^2\text{d}\lambdaH2(p,q)=21​∫(
Hellinger距离:一种度量两个概率分布之间的相似性的方法
qq_42324085的博客
06-06 2551
Hellinger距离:一种度量两个概率分布之间的相似性的方法
科普：浅谈 Hellinger Distance
a1424262219的博客
05-24 1344
浅谈 Hellinger Distance 2016.05.24 　　最近在看Hellinger Distance（海林格距离）， 平时看多了欧式距离，马氏距离等等，貌似介绍这个的材料不是很多，例如：维基百科上的一些，和 下列这个链接上的pdf材料：http://www.tcs.tifr.res.in/~prahladh/teaching/2011-12/comm/l...
paper 112：hellinger distance
weixin_33858485的博客
08-28 275
在概率论和统计理论中，Hellinger距离被用来度量两个概率分布的相似度。它是f散度的一种（f散度——度量两个概率分布相似度的指标）。Hellinger距离被定义成Hellinger积分的形式，这种形式由Ernst Hellinger在1909年引进。 目录 ·1 定义 ·1.1 度量理论 ·1.2 基于Lebesgue度量的概率理论 ·1.3 离散概率分布 ·2 ...
hellinger-distance-criterion:使用Hellinger距离作为分裂准则的随机森林模型
05-01
赫林格准则 sklearn随机森林和决策树分类器的Hellinger距离准则 我正在将其添加到scikit-learn-contrib / imbalanced-learn 建造 您将需要来自sklearn的cython“头文件”（.pxd）。 如果您已经从源代码包中安装了sklearn，那么您已经安装了它。 如果您使用pip install sklearn安装了sklearn，则需要获取它。 转到 下载_criterion.pxd并将其放置在本地sklearn安装文件夹中 Linux通常位于/usr/local/lib/python3.5/dist-packages/sklearn/tree Windows通常位于C：\ Users \ [用户名] \ AppData \ Local \ Continuum \ Anaconda3 \ Lib \ site-packages
海林格距离决策树
mangoer_ys
06-08 3708
海林格距离决策树
机器学习中距离/相似度的度量方法总结——闵科夫斯基距离、杰卡德距离、余弦相似度、Pearson相似系数、相对熵（KL散度）、Hellinger距离
GladYouCame
04-02 3480
闵科夫斯基距离（Minkowski） 计算公式： dist(X,Y)=(∑i=1n∣xi−yi∣p)1pdist(X,Y)=\big(\sum_{i=1}^{n}|x_i-y_i|^p\big)^\frac{1}{p}dist(X,Y)=(i=1∑n​∣xi​−yi​∣p)p1​ 杰卡德距离（Jaccard） 计算公式： J(A,B)=∣A⋂B∣∣A⋃B∣J(A,B)=\frac{ |{A} \...
HDDT:海灵格距离决策树
05-30
硬盘驱动器 海灵格距离决策树 这在很大程度上未经测试，因此请自行承担风险 已经提出 HDDT 可以很好地处理不平衡数据 [1]。 R 文件包含在给定训练数据的情况下创建海灵格距离决策树 (HDDT) 的函数。 它还提供了使用学习的决策树来预测新数据的功能。 我目前正在使用简单的列表来存储树。 目前没有可视化树的函数。 我很乐意获得反馈并进行改进，如果您已经实施了改进，我会更好:) [1] David A. Cieslak , Nitesh V. Chawla，不平衡数据的学习决策树，在 2008 年欧洲机器学习会议上。
论文研究 - 计数数据的模拟最小Hellinger距离推断方法
05-29
在本文中，我们考虑了对计数数据的模拟最小Hellinger距离（SMHD）推断。 我们考虑分组和非分组数据，并强调SMHD方法。 该方法扩展了基于确定性版本的Hellinger距离的计数数据方法。 这些方法是通用的，仅要求可以提取来自离散参数族的随机样本，并且可以用作使用概率生成函数（pgf）进行估计的替代方法或基于匹配矩的方法。 尽管本文着重于计数数据，但是当像传统的Pearson统计一样，将连续观察分组为间隔时，基于模拟Hellinger距离的拟合优度检验也可以用于测试连续分布的拟合优度。 研究了SMHD方法的渐近性质，这些方法似乎保留了确定性版本具有良好效率和鲁棒性的特性。
机器学习中的各种距离
m0_58557812的博客
05-03 271
机器学习中的数学——距离定义（二十二）：海林格距离（Hellinger Distance）_von Neumann的博客-CSDN博客
相似度（距离计算）汇总
duncan
10-19 1万+
在数据挖掘中，我们经常需要计算样本之间的相似度(Similarity ),我们通常的做法是计算样本之间的距离，相似性度量用以描述两个向量之间的相似性，看到三篇讲的比较好的关于距离计算的文章，汇总一起方便查阅。
【DL经典回顾】距离度量大汇总（21-F散度(F divergence)）
悦学共鸣，温柔以待，汇聚光芒，共同成长
04-08 1214
F散度是用于衡量两个概率分布差异的一系列度量方法的总称。
统计学中及计算机视觉中的各种 距离 汇总。。。
klzhang的专栏
04-17 7282
首先说一下距离三要素：       1）非负性；2）对称性；3）三角不等式。（PS：有些距离并不能同时满足） 集中一下都有啥距离： L1距离，L2距离（欧式距离），L∞距离，欧氏距离平方(squared Euclidean distance)，intersection distance, Kullback-Leibler(K-L)距离，Jeffrey距离，χ2距离，巴氏距离，Consine
概率分布之间的距离度量以及python实现(四)
weixin_33972649的博客
06-20 1122
1、f 散度（f-divergence) KL-divergence 的坏处在于它是无界的。事实上KL-divergence 属于更广泛的 f-divergence 中的一种。 如果P和Q被定义成空间中的两个概率分布，则f散度被定义为： 一些通用的散度，如KL-divergence, Hellinger distance, 和total variation distance，都是f散度的...
一些距离表示和相似度量
Crossi的专栏
11-27 7771
信号或者多维空间里，常常需要用一些距离或者相关度量来衡量两个点或向量的距离和相似度。下面列举一些常用于不同的模型和空间的距离。 1. 欧氏距离（euclidean distance）        最通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。在二维和三维空间中的欧氏距离就是两点之间的实际距离（直线距离）。 在m维空间中，欧式
Python爬虫实战：研究进制流数据，实现逆向解密
最新发布
ylfhpy的博客
05-14 104
许多网站和应用通过二进制流数据传输敏感信息，如视频、金融交易数据等。逆向工程进制流数据不仅有助于合法的数据获取与分析，还能帮助企业发现自身安全漏洞，提升数据保护能力。本研究主要针对特定类型的视频加密系统，对于采用更复杂加密机制（如硬件加密、动态密钥交换）的系统，可能需要进一步优化方法。以二进制形式传输的数据序列，通常包含文件、图像、音频或加密信息。如 ECB、CBC、CFB 等，定义加密算法如何处理数据块。拦截并修改通信双方数据的攻击方式，本研究用于合法数据捕获。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

夺命猪头

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值