Local Maximum Mean Discrepancy

最新推荐文章于 2024-03-20 16:16:08 发布
最新推荐文章于 2024-03-20 16:16:08 发布
阅读量4k 收藏 9
点赞数 2
分类专栏： domain adaption（域适应） 文章标签： 深度学习 机器学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42232024/article/details/109616822
版权

1、介绍
LMMD技术来源于论文: Deep Subdomain Adaptation Network for Image Classification
MMD在领域适应的模块已经表现得很好，但是对于多个类别分类问题，它总是去将全局得数据去进行对齐，而忽略了每个类别得对齐效果。LMMD（local maximum mean discrepancy）这便被引出来，经过我实验室研究结果来看，LMMD在多类别得领域适应模块具有较好得效果。多类别得LMMD原理图如下所示：


2、数学原理



上图所示为MMD在领域适应时对source和target映射过后得数据均值差

在这里插入图片描述
水水水水水

在采用了局部域适应方法后，LMMD计算公式如上所示，其中l表示对网络结构中得每一层都进行局部域适应

3.网络结构
网络结构可以采取多种模型结构，在论文中所使用的模型为ResNet50模型，整体结构如下图所示：

VLU
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
(原文+译文)DeepSubdomainAdaptationNetworkforImageClassification(用于图像分类的深度子域自适应网络)
10-20
Deep Subdomain Adaptation Network for Image Classification(用于图像分类的深度子域自适应网络)王晋东2020年最新文章全文翻译。 对于没有标记数据的目标任务，域适应可以将知识从不同的源域迁移过来。以往的深度域适应方法主要是学习全局的域迁移，即对齐源域和目标域的全局分布，而不考虑同一类别不同域中的两个子域之间的关系，在没有捕捉到细粒度信息的情况下导致迁移学习效果不佳。近年来，越来越多的研究者开始关注子域自适应问题，重点是准确地对齐相关子域的分布。然而，它们大多包含多个损失函数且收敛缓慢的对抗性方法。在此基础上，我们提出了一种深度子域自适应
MMD_mean_mmd_discrepancy_weekarq_最大均值差异
09-11
利用matlab来实现Maximum Mean Discrepancy（最大均值差异）的计算。
【算法】最大均值差异（Maximum Mean Discrepancy, MMD）损失函数原理与python代码
zkq_1986的博客
02-02 2万+
MMD介绍 MMD（最大均值差异）是迁移学习，尤其是Domain adaptation （域适应）中使用最广泛（目前）的一种损失函数，主要用来度量两个不同但相关的分布的距离。两个分布的距离定义为： python代码样例： import torch def guassian_kernel(source, target, kernel_mul=2.0, kernel_num=5, fix_si...
MMD和LMMD
最新发布
qq_52819488的博客
03-20 553
数学中的空间往往需要两部分构成：研究对象和内在规则。常见空间有线性空间、度量空间、赋范空间、内积空间、希尔伯特空间、再生核希尔伯特空间等。线性空间就是定义加法和数乘的空间。线性空间强调的是空间中元素满足线性结构，空间中的一个元素可以由其他元素线性表示出来。度量空间就是定义距离的空间。不同的定义方式，我们可以得到不同的结果。度量空间强调的是两个元素根据某一函数得到的函数值。赋范空间就是定义范数的空间。常见的范数使用为L0范数、L1范数、L2范数和无穷范数。L0范数就是指向量中非零元素的个数。
【域适应十一】Deep Subdomain Adaptation Network for Image Classification(DSAN)（2021 IEEE Trans）
m0_60231311的博客
11-02 397
以前的深域自适应方法主要学习全局域偏移，导致在没有捕获细粒度信息的情况下迁移学习性能不令人满意。近年来，越来越多的研究人员关注子域自适应，其重点是准确对齐相关子域的分布。然而，它们大多是对抗性方法，包含几个损失函数，收敛缓慢。基于此，本文提出了一种深层子域自适应网络（DSAN），该网络通过基于局部最大均值差异（LMMD）在不同域之间对齐域特定层激活的相关子域分布来学习转移网络，不需要对抗性训练，收敛速度快。
深度子领域迁移网络（DSAN） 阅读笔记
JuJuc09的博客
09-16 1234
以往大多数深度域自适应方法都进行全局对齐（不考虑任何细粒度的信息，比如标签），会混淆源域/目标域的数据，丢失每个类别的细粒度信息。本文提出了一种。
【代码阅读】最大均值差异（Maximum Mean Discrepancy, MMD）损失函数代码解读（Pytroch版）
热门推荐
a529975125的博客
07-23 5万+
代码及参考资料来源 Source code: easezyc/deep-transfer-learning [Github] 参考资料：迁移学习简明手册 MMD介绍 MMD（最大均值差异）是迁移学习，尤其是Domain adaptation （域适应）中使用最广泛（目前）的一种损失函数，主要用来度量两个不同但相关的分布的距离。两个分布的距离定义为： MMD(X,Y)=||1n∑i=1n...
MMD ：maximum mean discrepancy
easylifer的专栏
05-27 4万+
MMD最先提出的时候用于双样本的检测（two-sample test）问题，用于判断两个分布p和q是否相同。它的基本假设是：如果对于所有以分布生成的样本空间为输入的函数f，如果两个分布生成的足够多的样本在f上的对应的像的均值都相等，那么那么可以认为这两个分布是同一个分布。现在一般用于度量两个分布之间的相似性。在[1]中从任意空间到RKHS上介绍了MMD的计算，这里根据这个顺序来介绍。
The Maximum Mean Discrepancy
hyz240的博客
06-08 727
review of the Maximum Mean Discrepancy
Maximum Mean Discrepancy理解
tunhuzhuang1836的博客
09-21 2万+
MMD
Maximum Mean Discrepancy理解(MMD)
bbbeoy的专栏
08-23 7144
https://blog.csdn.net/tunhuzhuang1836/article/details/78058184 MMD理解 1.定义 MMD：maximum mean discrepancy。最大平均差异。参考网上定义为：基于两个分布的样本，通过寻找在样本空间上的连续函数f，求不同分布的样本在f上的函数值的均值，通过把两个均值作差可以得到两个分布对应于f的mean discrepancy。寻找一个f使得这个mean discrepancy有最大值，就得到了MMD。最后取MMD作为检验统计
Mean Maximum Discrepancy计算代码 pytorch代码
04-09
Mean Maximum Discrepancy计算代码，分为线性核和高斯核两种，以pytorch书写的
第八期_Maximum Classifier Discrepancy.pptx
09-20
第八期_Maximum Classifier Discrepancy.pptx
tas_discrepancy_finder
03-18
tas_discrepancy_finder
MMD_mean_mmd_discrepancy_weekarq_最大均值差异_源码.zip
10-05
MMD_mean_mmd_discrepancy_weekarq_最大均值差异_源码.zip
基于Verilog的mips指令集单周期/五级流水cpu，modelsim/vivado仿真设计 原创设计
m0_52560903的博客
03-21 3579
我基于mips指令集设计了一个单周期cpu，在此基础上添加了流水线，在modelsim、vivado上均能仿真运行，供大家学习参考
深度子领域自适应的方法（DSAN）「迁移学习」「AI核心算法」
九三智能控
11-13 9197
关注：决策智能与机器学习，深耕AI脱水干货作者：朱勇椿 来源：王晋东不在家（ID：yourwjd）转载请联系作者本期我们将为大家介绍一种极为简单的「深度子领域自适应的方法（DSAN）」...
深度迁移学习技术在金融风控中的应用
zenRRan的博客
09-28 881
每天给你送来NLP技术干货！分享嘉宾：朱晓海萨摩耶云编辑整理：Hoh Xil内容来源：作者授权发布出品平台：DataFunTalk导读：迁移学习利用数据、模型之间的相似性，在不同领域之间...
《Deep Subdomain Adaptation Network for Image Classification》
uestc_huhu的博客
06-19 1568
Abstract 我们提出了深子域自适应网络(DSAN)，它通过基于局部最大平均差异(LMMD)在不同域上对齐域特定层激活的相关子域分布来学习传输网络。我们的DSAN非常简单但有效，不需要对抗性训练，收敛速度快。大部分前馈网络模型都可以通过最小均方误差损失进行扩展来实现自适应，而最小均方误差损失可以通过反向传播进行有效训练。 贡献 (1)提出了一种新的子域自适应深度神经网络体系结构，该体系结构通过捕获每个类别的细粒度信息来扩展深度自适应网络的能力。 (2)我们证明了DSAN这种非对抗性的方法可以取得显著的效
maximum mean discrepancy
03-16
最大均值差异（Maximum Mean Discrepancy，MMD）是一种用于度量两个概率分布之间距离的方法。给定两个概率分布P和Q，MMD的计算方法是将它们各自的样本集合进行映射，然后比较在映射空间中的均值之间的差异。具体来说，MMD将每个样本映射到一个高维空间中，计算P和Q在该空间中均值的差异。如果MMD等于零，则表示P和Q是相同的分布，否则它们之间的距离越大。 MMD常用于机器学习领域，例如在无监督学习中，可以使用MMD来比较生成模型生成的样本和真实样本之间的距离，以评估生成模型的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值