最大均值差异（Maximum Mean Discrepancy）

于 2024-04-15 16:41:47 发布
阅读量336 收藏 2
点赞数 2
文章标签： 均值算法 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Abstinence277/article/details/137785350
版权
本文探讨了如何通过两组独立同分布的样本集X和Y来判断其分布p和q是否相同，利用MMD（MaximumMeanDiscrepancy）理论，通过映射函数f将样本映射到函数值空间，计算均值差异。特别提到普适的再生核希尔伯特空间（UniversalRKHS）中的单位球在MMD计算中的作用。
摘要由CSDN通过智能技术生成

解决的问题

在这里插入图片描述

假设有两组观测到的样本集X={x1,x2,…xn}和Y={y1,y2,…yn}分别独立同分布采样自分布 p 和分布 q；
如何通过 X和 Y 判断分布 p 和 q 是否相同？

定义

  1. 基于经验的运算
    请添加图片描述

F：在样本空间上的函数集合

  1. 经验估计
    请添加图片描述

过程：
（1） 需要一个映射函数f∈F：把样本集X和Y中的所有样本映射至对应的函数值；
（2）分别计算它们的均值做差得到一个均值差异；
MMD 的目标：
寻找一个映射函数 f，使得上述均值差异最大
函数集合F分析：
F需要足够丰富：确保其中一定存在一个函数，使得当均值差异最大时，分布 p和q相等；
F需要一定限制：确保可以从有限的样本中获得有效的估计；
最合适的F：普适的再生核希尔伯特空间（Universal RKHS）中的单位球（Unit Ball）

简化MMD计算

  1. 分布的均值嵌入
    请添加图片描述

k(·,·)：核函数
up的存在需要满足一定的条件，如果存在则是空间中的一个点

  1. MMD计算
    请添加图片描述
    只需要计算两点之间的距离便可得到两个分布之间的差异
  2. MMD经验估计
    请添加图片描述
asset_
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MMD_mean_mmd_discrepancy_weekarq_最大均值差异
09-11
利用matlab来实现Maximum Mean Discrepancy（最大均值差异）的计算。
最大平均差异（MMD）
最新发布
BetrayFree的博客
05-24 1121
给定两个样本集和​，它们分别来自两个分布 P 和 Q。MMD 的定义如下：这里，F 是函数集合，通常选择为再生核希尔伯特空间（RKHS）中的函数集。
最大均值差异 Maximum Mean Discrepancy(MMD)
thormas1996的博客
03-07 6840
最大均值差异MMD用于衡量两个分部之间的相似性，迁移学习中经常用其来衡量源领域和目标领域的差异性。它的基本假设是：如果对于所有以分布生成的样本空间为输入的函数f，两个分布生成的样本足够多，且其对于函数f所有对应值的均值都相等，那么可以认为这两个分布是同一个分布。 如何用MMD来衡量两个分布的相似性？ 简单来说，就是找一个在样本空间的连续函数f，将两个分布的样本在f上的均值相减，要求函数f使这个差值...
最大均值差异（MMD）的介绍
m0_46861439的博客
05-28 4062
核函数：给定一个非空集合XX，方程kX×X→RkX×X→R，如果存在一个实希尔伯特空间 (R\mathbb{R}R-Hilbert space，实希尔伯特空间因其上的内积的定义的不同而不同) 和一个映射ϕxX→HϕxX→H，使得∀xx′∈X∀xx′∈Xkxx′≔ϕxϕx′Hkxx′ϕxϕx′H​1.对称性：kxx′kx′x。
最大均值差异
鱼香土豆丝
04-06 1万+
引言最大均值差异(maximum mean discrepancy, MMD)提出时候是用来双样本检测，也就直观的判断两个数据的分布。
机器学习中的数学——距离定义（二十八）：最大均值差异（Maximum Mean Discrepancy, MMD）
冯·诺依曼
01-09 2万+
最大均值差异（Maximum Mean Discrepancy，MMD）是迁移学习，尤其是 域适应（Domain Adaptation）中使用最广泛的一种损失函数，主要用来度量两个不同但相关的分布的距离。最大均值差异还可以用来测试两个样本，是否来自两个不同分布ppp和qqq，如果均值差异达到最大，就说明采样的样本来自完全不同的分布。 假设有一个满足ppp分布的数据集Xs=[xs1,…,xsn]和一个满足Q分布的数据集Xt=[xt1,…,xtm] 并且存在一个再生希尔伯特空间H(RKHS) 存在一个映射函数ϕ
【DL经典回顾】距离度量大汇总（23-最大均值差异(Maximum mean discrepancy)）
悦学共鸣，温柔以待，汇聚光芒，共同成长
04-10 1631
最大均值差异（Maximum Mean Discrepancy, MMD）是一种用于衡量两个概率分布差异的度量方法，在机器学习和统计学中尤其用于无参数和核方法中。
【机器学习】最大均值差异MMD详解
zkq_1986的博客
01-08 1万+
引言 最大均值差异(maximum mean discrepancy, MMD)提出时候是用来测试两个样本，是否来自两个不同分布p和q，如果均值差异达到最大，就说明采样的样本来自完全不同的分布。 原理 MMD的基本原理如下所述：假设有一个满足P分布的数据集Xs=[xs1,...,xsn]和一个满足Q分布的数据集Xt=[xt1,...,xtm] 并且存在一个再生希尔伯特空间H(RKHS) 存在...
Mean Maximum Discrepancy计算代码 pytorch代码
04-09
Mean Maximum Discrepancy计算代码，分为线性核和高斯核两种，以pytorch书写的
MMD_mean_mmd_discrepancy_weekarq_最大均值差异_源码.zip
10-05
标题"MMD_mean_mmd_discrepancy_weekarq_最大均值差异_源码.zip"表明这个压缩包包含了关于“最大均值差异”(Maximum Mean Discrepancy, 简称MMD)的源代码，特别关注的是与“周平均”(weekarq)相关的计算或应用。...
MMD_mean_mmd_discrepancy_weekarq_最大均值差异_源码.rar.rar
09-29
最大均值差异（Maximum Mean Discrepancy，简称MMD）是机器学习领域中一种衡量两个概率分布之间差异的方法，尤其在生成模型、域适应和无监督学习中扮演着重要角色。MMD的理论基础源于统计学，它通过计算不同分布的...
scmmd:单细胞分析实验的最大平均差异比较
05-08
在这种情况下比较分布的一种方法是利用内核相似性指标来找到最大平均差异 ，这是在灵活转换下分布均值的最大差异。 由于易于计算和强大的统计特性，最大平均差异（MMD）在表示学习领域已得到广泛采用。 在这里，...
最大均值差异MMD
X_m_w的博客
11-23 5174
最大均值差异是迁移学习中使用频率最高的度量。 Maximum mean discrepancy，它度量在再生希尔伯特空间中两个分布的距离，是一种核学习方法。简单地理解就是计算两堆数据的均值距离，但是实际比较难计算。就将两个分布映射到另一个空间计算距离。计算距离的方法是，计算分布上每一个点映射到另一空间的距离然后求和。 MMD的基本原理：假设一个满足P分布的数据集和一个满足Q分布的数据集并且存在一...
【ML算法学习】多核最大均值差异（MK-MMD）与深度适应网络（DAN）
悦学共鸣，温柔以待，汇聚光芒，共同成长
10-20 8961
多核最大均值差异Multiple Kernel Maximum Mean Discrepancy（MK-MMD）与深度适应网络Deep Adaptation Network（DAN）
【算法】最大均值差异（Maximum Mean Discrepancy, MMD）损失函数原理与python代码
热门推荐
zkq_1986的博客
02-02 2万+
MMD介绍 MMD（最大均值差异）是迁移学习，尤其是Domain adaptation （域适应）中使用最广泛（目前）的一种损失函数，主要用来度量两个不同但相关的分布的距离。两个分布的距离定义为： python代码样例： import torch def guassian_kernel(source, target, kernel_mul=2.0, kernel_num=5, fix_si...
MMD~Maximum Mean Discrepancy 最大均值差异 pytorch&tensorflow代码
sinat_34173979的博客
07-27 1万+
基本思想 一个随机变量的矩反应了对应的分布信息，比如一阶中心矩是均值，二阶中心矩是方差等等。如果两个分布的均值和方差都相同的话，它们应该很相似，比如同样均值和方差的高斯分布和拉普拉斯分布。但是很明显，均值和方差并不能完全代表一个分布，这时候我们就需要更高阶的矩来描述一个分布。 MMD的基本思想就是，如果两个随机变量的任意阶都相同的话，那么两个分布就是一致的。而当两个分布不相同的话，那么使得两个...
最大均值差异（Maximum Mean Discrepancy, MMD）复现教程
weixin_43905212的博客
10-14 5467
本文章主要为了复现这个MMD教程中的代码。 pytorch环境安装 下面参考pytorch的官方教程。 这是安装pytorch的先决条件，如果需要用到GPU加速的话还需要下载CUDA驱动。（不过这个小项目就不用啦） 首先需要一个Anaconda做为package manager，为项目建立虚拟环境（因为不同项目对pytorch或者其他包的版本要求不同，不能兼容哦）。 之后要下载项目所需要的pytorch版本。如果项目中有说明具体的pytorch版本，最好下载对应的版本，会省很多问题。在这个MMD项目中没有
【小概念】最大均值差异（Maximum Mean Discrepancy）
Sun7_She的专栏
08-15 7321
将两个分布映射到另一个空间计算距离。 计算距离的方法是，计算分布上每一个点映射到另一空间的距离然后求和。 细节可参见： http://blog.csdn.net/he_min/article/details/69397975
pytorch求maximum mean discrepancy
08-30
PyTorch对于求maximum mean discrepancy（最大均值差异）可以通过以下步骤实现： 首先，通过定义核函数来测量两个分布之间的差异。可以使用高斯核函数来计算样本的欧氏距离，并通过指定带宽参数来调整核函数的宽度。PyTorch提供了torch.exp函数来计算指数函数。 其次，计算两个分布的均值。对于每个分布，可以通过计算样本张量的平均值来得到。 然后，计算最大均值差异。最大均值差异是指两个分布之间的最大差异，可以通过选择最大均值差异的值来判断两个分布是否相同。计算最大均值差异可以通过计算样本集之间的核矩阵并选择其中的最大值来实现。PyTorch提供了torch.mm函数来计算矩阵乘法，并使用torch.max函数选择最大值。 最后，将上述步骤结合起来，使用PyTorch的张量操作和数学函数来实现maximum mean discrepancy的计算。具体代码如下： ```python import torch def maximum_mean_discrepancy(x, y, bandwidth): # 计算高斯核 def gaussian_kernel(x, y, bandwidth): diff = torch.unsqueeze(x, 1) - torch.unsqueeze(y, 0) norm = torch.norm(diff, dim=2) return torch.exp(-0.5 * (norm / bandwidth) ** 2) # 计算样本均值 def mean(x): return torch.mean(x, dim=0) # 计算最大均值差异 kernel_xx = gaussian_kernel(x, x, bandwidth) kernel_xy = gaussian_kernel(x, y, bandwidth) kernel_yy = gaussian_kernel(y, y, bandwidth) mmd = torch.max(torch.mean(kernel_xx) + torch.mean(kernel_yy) - 2 * torch.mean(kernel_xy)) return mmd # 示例数据 x = torch.tensor([[1, 2], [3, 4], [5, 6]]) y = torch.tensor([[2, 3], [4, 5], [6, 7]]) bandwidth = 1 # 求解最大均值差异 mmd = maximum_mean_discrepancy(x, y, bandwidth) print(mmd) ``` 这段代码演示了如何使用高斯核函数和PyTorch的张量操作来计算两个样本集之间的最大均值差异。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值