最优传输论文（七）：Enhanced Transport Distance for Unsupervised Domain Adaptation论文原理

最新推荐文章于 2023-07-12 21:12:43 发布
最新推荐文章于 2023-07-12 21:12:43 发布
阅读量996 收藏 2
点赞数
分类专栏： 领域自适应与最优传输 文章标签： 计算机视觉 算法 最优传输
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41076797/article/details/117090116
版权
本文介绍了如何通过增强运输距离(ETD)改进最优传输(OT)在无监督领域自适应(UDA)中的应用。针对OT小样本取样的缺陷，作者引入注意力机制来重新加权距离矩阵，通过全局网络W进行样本间相似度的估计。同时，使用深度网络参数化Kantorovich势，以更好地学习潜在空间分布。论文通过熵正则化探索目标域的内在结构，提高分类器的可移植性。实验结果显示，ETD在多个数据集上展现出优于现有方法的性能。
摘要由CSDN通过智能技术生成

目录

前言

  • 本文属于我最优传输系列里的七篇，该专栏用于记录本人研究生阶段相关最优传输论文的原理阐述以及复现工作。
  • 本专栏的文章主要内容为解释原理，论文具体的翻译及复现代码在文章的github中。

原理阐述

文章介绍

  • 文章发表于2020年的CVPR。

摘要

  • 最优传输模型已经被应用于UDA（无监督领域自适应）用于对齐分布。然而，传输距离不能反映来自领域知识或类别先验（domain knowledge or category prior）的判别信息。
  • 作者提出了增强运输距离（enhanced transport distance,ETD），这种方法，所谓ETD就是建立一个注意力运输距离，注意力机制其实就是对OT问题的成本矩阵C进行加权，而作者的加权方式非常新颖，由于OT针对小样本，所以很可能小批量抽样实例不能反映实际分布，所以说作者专门设计了一个全局的网络W，用于给C加权，从而添加全局信息。也就是说
了解本专栏 订阅专栏 解锁全文 超级会员免费看
CtrlZ1
关注
专栏目录
订阅专栏
最优传输论文（四十三）：Unsupervised Multi-source Domain Adaptation Without Access to Source Data论文原理
lyy的博客
10-16 738
文章目录前言摘要1. Introduction 前言 文章来自2021年的CVPR 本文是本人领域自适应与最优传输系列论文的第43篇，所有系列论文的相关代码在https://github.com/CtrlZ1/Domain-Adaptation-Algorithms，希望各位大佬们不吝点赞，给个Star哦~ 摘要 这一篇论文很有看点，它不访问源域数据来完成领域自适应。 无监督域自适应(UDA)的目标是通过从一个独立的有标记源域转移知识来学习一个无标记域的预测模型。然而，大多数传统的UDA方法都假设
最优传输论文（六十三）：Contrastive Adaptation Network for Unsupervised Domain Adaptation论文原理
lyy的博客
01-17 2539
文章目录前言摘要1. Introduction2. Related Work3. Methodology3. 1. 最大平均差异回顾3. 2. 对比域差异 前言 文章来自2019年的CVPR 本文是本人领域自适应与最优传输系列论文的第63篇，所有系列论文的相关代码在https://github.com/CtrlZ1/Domain-Adaptation-Algorithms，希望各位大佬们不吝点赞，给个Star哦~ 摘要 无监督域自适应（UDA）对目标域数据进行预测，而手动注释仅在源域中可用。以前的
【最优传输论文七】2020CVPR - Enhanced Transport Distance for Unsupervised Domain Adaptation
m0_60231311的博客
05-13 311
然后将注意力矩阵S归一化为单位长度，即矩阵S的每一行元素和为1，例如，通过softmax，其中bt是目标域的小批量大小。Kantorovich通过将Monge问题转化为耦合（X，Z）～π的最小化，而不是映射集，从而放松了Monge问题，其中π的边缘应等于µ和v。这种方法扩展了对偶变量的适用性，使得最优传输计划学习过程可以摆脱当前特征空间的约束，在更灵活的空间中进行。由于潜在变量重新参数化网络g的更新是整个模型优化之外的一个独立循环，因此相应的参数表示为W g，其他部分的参数则表示为W。
最优传输论文（八）Enhanced Transport Distance for Unsupervised Domain Adaptation
qq_42595295的博客
01-04 590
1.将Kantorovich潜在网络进行参数化，并根据深度特征返回最优传输计划g(f(x)) 用神经网络g来表示潜在特征对偶变量v，对应参数Wg , 优化传输计划πε的过程转化为优化网络g的过程. 对网络g进行参数优化后，利用当前参数Wg计算出最优传输距离Wε(µ，ν) 2.利用attention模块重新衡量传输距离，对距离矩阵进行重加权操作，使一个mini-batch实现真实的数据分布 3.最终，通过Kantorovich潜在网络计算得到的g(f t j)与重加权后的距离矩阵c(f s i,f t j)得
最优传输论文（二十四）：Reliable Weighted Optimal Transport for Unsupervised Domain Adaptation论文原理
lyy的博客
08-26 746
目录前言摘要1. Introduction2. Related work3. Reliable Weighted Optimal Transport3.1. Shrinking Subspace Reliability3.2. Weighted Optimal Transport3.3. Discriminative Centroid Exploitation3.4. Training4.实验4.1.设置4.2.实施细节4.3. Result and Discussion4.4.分析5. Conclusio
最优传输论文（二十九、三十、三十一）总结
lyy的博客
09-05 411
文章目录前言介绍共同点不同点总结 前言 本文属于个人对于最优传输系列第29、30、31篇论文的联合总结 所有系列论文的相关代码在https://github.com/CtrlZ1/Domain-Adaptation-Algorithms，希望各位大佬们不吝点赞，给个Star哦~ 介绍 第30篇论文：Mind the Class Weight Bias: Weighted Maximum Mean Discrepancy for Unsupervised Domai 时间：2017 主题：源域样本加
最优传输论文（三十二）：Deep multi-Wasserstein unsupervised domain adaptation论文原理
lyy的博客
09-10 328
文章目录前言摘要1. Introduction2. Related work3. Setting and background knowledge4. Multi-critic domain adaptation5. Experiments6.消融研究7. Conclusion 前言 文章来自2019年的PRletter 本文是本人领域自适应与最优传输系列论文的第32篇，所有系列论文的相关代码在https://github.com/CtrlZ1/Domain-Adaptation-Algorithms，
论文解读-<Unsupervised Domain Adaptation with Residual Transfer Networks>
小火车~
11-14 6638
论文题目： 《Unsupervised Domain Adaptation with Residual Transfer Networks》 论文信息： NIPS2016, Mingsheng Long, Han Zhu, Jianmin Wang, Tsinghua University 论文： http://ise.thss.tsinghua.edu.cn/~mlong/doc/res
【最优传输论文四】DeepJDOT: Deep Joint Distribution OptimalTransport for Unsupervised Domain Adaptation
m0_60231311的博客
04-23 507
在这项工作中，我们探索了一种名为DeepJDOT的解决方案来解决域转移问题：通过测量基于最优传输的联合深度表示/标签的差异，我们不仅学习源域和目标域之间对齐的新数据表示，而且同时保留分类器使用的判别信息。在JDOT中，作者提出在源中的类正则性约束下，使用离散最优传输来匹配两个域的偏移边缘分布。联合分布但是，该方法有两个缺点：1）JDOT方法规模很小，因为它必须解决n1×n2的耦合问题，其中n1和n2是要对齐的样本；
Optimal Transport for Domain Adaptation
12-20
Domain adaptation is one of the most challenging tasks of modern data analytics. If the adaptation is done correctly, models built on a specific data representation become more robust when confronted to data depicting the same classes, but described by another observation system. Among the many strategies proposed, finding domain-invariant representations has shown excellent properties, in particular since it allows to train a unique classifier effective in all domains. In this paper, we propose a regularized unsupervised optimal transportation model to perform the alignment of the representations in the source and target domains. We learn a transportation plan matching both PDFs, which constrains labeled samples of the same class in the source domain to remain close during transport. This way, we exploit at the same time the labeled samples in the source and the distributions observed in both domains. Experiments on toy and challenging real visual adaptation examples show the interest of the method, that consistently outperforms state of the art approaches. In addition, numerical experiments show that our approach leads to better performances on domain invariant deep learning features and can be easily adapted to the semi-supervised case where few labeled samples are available in the target domain.
请查收！顶会AAAI 2020录用论文之自然语言处理篇
热门推荐
语言智能技术笔记簿
02-23 1万+
2020年人工智能顶级会议AAAI录用的自然语言处理领域的研究论文已为您准备就绪，请查收！
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
【论文笔记】Asymmetric Tri-training for Unsupervised Domain Adaptation
zhy455的博客
10-17 2353
@[TOC](【论文笔记】Asymmetric Tri-training for Unsupervised Domain Adaptation)) 论文地址：http://cn.arxiv.org/pdf/1702.08400v3 代码地址：https://github.com/corenel/pytorch-atda#pytorch-atda 基本介绍 ATDA 解决的问题： 源数据有类别标签，...
最优传输论文（四）：DeepJDOT Deep Joint Distribution Optimal Transport for Unsupervised Domain Adaptation论文原理
lyy的博客
05-12 998
目录前言原理阐述文章介绍前言模型结构Solving the optimization problem with stochastic gradients实验论证（Experiments and Results）Digit classificationOffice-HomeVisDA-2017 前言 本文属于我最优传输系列里的四篇，该专栏用于记录本人研究生阶段相关最优传输论文的原理阐述以及复现工作。 本专栏的文章主要内容为解释原理，论文具体的翻译及复现代码在文章的github中。 原理阐述 文章介绍
最优传输论文（二）Deep Joint Distribution Optimal Transport for Unsupervised Domain Adaptation
qq_42595295的博客
12-01 1228
DeepJDOT是基于ot的将特征和标签联合的差异度量进行优化的方法，Deep的含义为使用CNN构造特征提取器g和分类器f。
【最优传输论文十四】2019 CVPR-Sliced Wasserstein Discrepancy for Unsupervised Domain Adaptation
最新发布
m0_60231311的博客
07-12 605
无监督域适应大部分工作都集中在建立源域和目标域的特征分布之间的直接对齐。这种对齐涉及最小化模型学习到的特征分布的一些距离度量。更复杂的方法使用对抗性训练，通过在特征级、像素级或输出级跨域调整表示，从而提高分布之间对齐的质量。在MCD中提出了一种基于网络内对抗学习的方法，该方法包含一个特征生成器和两个(特定任务)分类器，该方法使用特定任务的决策边界来对齐源样本和目标样本。然而存在一些局限性。例如，它们的差异损失(MCD中为L1)只有在分类器的两个输出概率度量重叠时才有用。
Wasserstein distance in Optimal transport
Aiqz的博客
06-04 1216
Wasserstein Distance Optimal transport 1. Notations ​ Consider two probability measures µ and ν defined on measure spaces X and Y . In most applications X and Y are subsets of Rd\mathbb{R}^dRd and µ and ν have density functions which we denote by I0I_0I0
CVPR2020 有关Cross Domain论文阅读总结与思考
weixin_42279314的博客
03-16 2961
有关CVPR2020中Cross Domain论文阅读总结与思考 论文总结 论文总结 Progressive Adversarial Networks for Fine-Grained Domain Adaptation 作者：Sinan Wang, Xinyang Chen, Yunbo Wang, Mingsheng Long, and Jianmin Wang 所解决的问题是在Fine-Grained中的跨域分类(Cross Domain) 解决问题的出发点：为使源域与目标域的数据分布能趋
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CtrlZ1

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值