【最优传输论文笔记二】（2017 NIPS）Joint distribution optimal transportation for domain adaptation

已于 2023-11-05 19:42:02 修改
阅读量351 收藏 1
点赞数
分类专栏： 最优传输 文章标签： 论文阅读 机器学习 人工智能
于 2023-04-11 15:17:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60231311/article/details/130043207
版权
本文提出了一种新的无监督域自适应框架——JDOT，通过联合分布最优传输来处理源域和目标域之间的分布差异。JDOT在优化过程中同时考虑最优运输计划和预测函数，适用于各种函数类型，包括回归和分类问题，能够有效降低目标错误率。
摘要由CSDN通过智能技术生成

摘要

本文讨论了无监督的域自适应问题，其中人们希望通过利用已知标签的源域中的可用知识，在没有任何标记样本的情况下估计给定目标域中的预测函数f。我们的工作做出了以下假设：在两个域P_{s}和P_{t}的联合特征/标签空间分布之间存在非线性变换。我们提出了一种具有最优传输的该问题的解决方案，该解决方案允许通过同时优化最优耦合和f来恢复估计的目标P_{t}^{f}=(X,f(X))。

贡献和概要。

1、我们提出了一个新的框架，用于联合分布之间的无监督领域自适应。我们建议找到一个函数f，该函数在给定输入x∈X的情况下预测输出值，最小化联合源分布P_{s}和取决于f的估计的目标联合分布P_{t}^{f}=(X,f(X))之间最优传输损失。

2.我们的方法非常通用，不需要明确地学习转换，因为它直接求解最佳函数。我们证明了它可以处理一大类函数f（包括核机器和神经网络）的回归和分类问题。

Joint distribution Optimal Transport

允许Ω ∈ Rd是维数为d的紧凑输入可测量空间，C是标签集。对P(\Omega )表示所有概率测度的集合Ω. 假设Xs和Xt来自同一分布µ∈P(\Omega ). 在所考虑的自适应问题中，假设存在两个不同的联合概率分布P_{s}(X,Y)和P_{t}(X,Y)，它们分别对应于两个不同源域和目标域。我们将在X上分别写出\mu _{s}和\mu _{t}的边际分布。

Optimal transport in domain adaptation

Monge问题正在寻找一个映射T_{0}：Ω → Ω 将\mu _{s}推向\mu _{t}，定义为：

 

式中，T#µs是T对µs的图像测量ÿ

最低0.47元/天 解锁文章
羊驼不驼a
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
最优传输论文（三）：Joint distribution optimal transportation for domain adaptation论文原理
lyy的博客
05-12 940
目录前言原理阐述文章介绍背景Joint distribution Optimal TransportOptimal transport in domain adaptationJoint distribution optimal transport loss其他 前言 本文属于我最优传输系列里的二篇，该专栏用于记录本人研究生阶段相关最优传输论文的原理阐述以及复现工作。 本专栏的文章主要内容为解释原理，论文具体的翻译及复现代码在文章的github中。 原理阐述 文章介绍 背景 当下域适应问题的解决方法之
最优传输论文（八）：Optimal Transport for Multi-source Domain Adaptation under Target Shift论文原理
lyy的博客
05-23 938
目录前言原理阐述介绍最优传输Basics and NotationsEntropic RegularizationDOMAIN ADAPTATION UNDER THE TARGET SHIFTJOINT CLASS PROPORTION AND OPTIMAL TRANSPORT (JCPOT)Data and Class-Based WeightingMulti-Source Domain Adaptation with JCPOT 前言 本文属于我最优传输系列里的八篇，该专栏用于记录本人研究生阶段相
Optimal Transport for Domain Adaptation
12-20
Domain adaptation is one of the most challenging tasks of modern data analytics. If the adaptation is done correctly, models built on a specific data representation become more robust when confronted to data depicting the same classes, but described by another observation system. Among the many strategies proposed, finding domain-invariant representations has shown excellent properties, in particular since it allows to train a unique classifier effective in all domains. In this paper, we propose a regularized unsupervised optimal transportation model to perform the alignment of the representations in the source and target domains. We learn a transportation plan matching both PDFs, which constrains labeled samples of the same class in the source domain to remain close during transport. This way, we exploit at the same time the labeled samples in the source and the distributions observed in both domains. Experiments on toy and challenging real visual adaptation examples show the interest of the method, that consistently outperforms state of the art approaches. In addition, numerical experiments show that our approach leads to better performances on domain invariant deep learning features and can be easily adapted to the semi-supervised case where few labeled samples are available in the target domain.
【最优传输论文笔记一】Optimal Transport for Domain Adaptation
m0_60231311的博客
03-24 2172
在本文中，描述了一种基于最优传输的新框架来解决无监督领域自适应问题。我们提出了两种正则化方案来在运输计划的估计过程中对源域中的类结构进行编码，从而强化了同一类的样本必须经历类似变换。并将这种OT正则化框架扩展到半监督域自适应情况，即目标域中几乎没有标签可用的情况。关于计算方面，建议使用条件梯度算法的修改版本，即广义条件梯度分裂，这使该方法能够扩展到真实世界的数据集。最后，我们将所提出的方法应用于合成数据集和现实世界数据集。结果表明，最优运输领域自适应方案往往优于竞争的最先进的方法。
【最优传输论文八】Optimal Transport for Multi-source Domain Adaptation under Target Shift
最新发布
m0_60231311的博客
05-21 717
本文提出了一种基于最优传输(OT)的目标偏移校正算法。最初，OT解决了一个问题，即以一种最小化在它们之间移动单位质量的成本的方式对齐两个概率度量，同时保留原始的边际。最近出现的有效的OT公式允许其在数据处理中的应用，因为OT允许明确地学习将给定源pdf转换为目标样本的pdf。提出新的目标移位特定算法的动机源于这样一个事实，即许多流行的用于处理协变量移位的数据挖掘算法不能同样好地处理目标移位。
SpCo-NIPS 2022 论文阅读详细笔记
10-30
《从图谱视角重新审视图对比学习——NeurIPS 2022论文解析》 图对比学习（Graph Contrastive Learning, GCL）是近年来在无监督或自监督学习领域中备受关注的一种方法，尤其在处理图数据时，它能够有效地学习到节点...
NIPS会议文章信息数据（1987-2017）数据集
07-02
该数据集包含了从1987年至2017年NIPS会议的全部论文信息，是研究者们了解历年趋势、分析热点问题和进行论文挖掘的重要资源。 数据集的组成部分主要包括以下几个方面： 1. **论文标题**：每篇论文的标题是其核心...
AttentionalPoolingAction：NIPS 2017论文“用于动作识别的注意力集中”的CodeModel版本
02-06
神经信息处理系统（NIPS）的进展，2017年。 @inproceedings{Girdhar_17b_AttentionalPoolingAction, title = {Attentional Pooling for Action Recognition}, author = {Girdhar, Rohit and Ramanan, Deva}, ...
nips2017：NIPS 2017上所有受邀的演讲，教程，讲习班和演示的资源列表
02-04
nips2017：NIPS 2017上所有受邀的演讲，教程，讲习班和演示的资源列表
最优传输论文（三十三）：Joint Partial Optimal Transport for Open Set Domain Adaptation论文原理
lyy的博客
09-08 437
文章目录前言摘要1 Introduction2 Related Work3 方法论3.1 Partial Optimal Transport 前言 文章来自2020年的IJCAI 本文是本人领域自适应与最优传输系列论文的第33篇，所有系列论文的相关代码在https://github.com/CtrlZ1/Domain-Adaptation-Algorithms，希望各位大佬们不吝点赞，给个Star哦~ 摘要 域自适应（DA）通过利用来自源域的标记数据来适应未标记的目标域，在学习好的分类器方面取得了
最优传输论文（二）Deep Joint Distribution Optimal Transport for Unsupervised Domain Adaptation
qq_42595295的博客
12-01 1081
DeepJDOT是基于ot的将特征和标签联合的差异度量进行优化的方法，Deep的含义为使用CNN构造特征提取器g和分类器f。
最优传输论文（七）Reliable Weighted Optimal Transport for Unsupervised Domain Adaptation
qq_42595295的博客
01-05 708
见前言
【论文笔记13】Differentially Private Optimal Transport: Application to Domain Adaptation, IJCAI 2019
weixin_45632492的博客
04-10 425
目录导引系列传送AbstractReference 系列传送 【Active Learning】 【论文笔记01】Learning Loss for Active Learning, CVPR 2019 【论文笔记02】Active Learning For Convolutional Neural Networks: A Core-Set Approch, ICLR 2018 【论文笔记03】Variational Adversarial Active Learning, ICCV 2019 【论文笔记0
最优传输论文（一）：Domain Adaptation with Regularized Optimal Transport论文原理
lyy的博客
05-10 907
目录前言原理阐述文章介绍Monge-Kantorovitch ProblemRegularized Optimal T ransportDomain Adaptation with Label Regularized Optimal TransportMajoration Minimization Strategy 前言 本文属于我最优传输系列里的一篇，该专栏用于记录本人研究生阶段相关最优传输论文的原理阐述以及复现工作。 本专栏的文章主要内容为解释原理，论文具体的翻译及复现代码在文章的github中。
论文浅尝 - ICML2020 | 跨域对齐的图最优运输算法
开放知识图谱
11-25 3168
陈卓，浙江大学在读博士，主要研究方向为图神经网络和知识图谱表示学习。论文链接：https://arxiv.org/pdf/2006.14744代码：https://github.com/...
最优传输系列-前言(Computational Optimal Transport)
Grant Tour of Algorithms
03-11 4329
随着用来implement神经网络的工具变得越来越强大，仅仅能够针对数据写出Neural Network不再是一件及其挑战的事情，有时在Tensorflow几十行代码就可以完成。在这个日渐成熟的AI学术环境中，有能力的研究者不需要停留在在把已有的算法搬到新的应用上去，而是时刻想要进一步改善算法，推进AI的水平。当然，算法的背后没有数学的支撑是不行的，所以对数学理论的了解在现在的AI领域中重要性日渐...
域适应（domain adaptation）
热门推荐
如果想成为中心，那么就到中心去吧。
05-22 3万+
文章目录导读前言域适应类别任务相关性一步域适应技术及其应用基于散度的域适应基于对抗的域适应基于重建的域适应结论 导读 在迁移学习中， 当源域和目标的数据分布不同 ，但两个任务相同时，这种特殊的迁移学习叫做域适应 （Domain Adaptation，DA ）。因为其任务相同，域适应属于一种直推式迁移学习。在计算机视觉中，域适应是一个常见要求，因为带有标注的数据集很容易取得，但是获得的数据集和我们最终应用的数据集来源的域往往是不同的。那么解决这类问题的思路是什么呢？请看 AI 前线翻译的这篇文章，希望能有所启
（转）Awsome Domain-Adaptation
a1424262219的博客
08-06 454
Awsome Domain-Adaptation 2018-08-0619:27:54 This blog is copied from:https://github.com/zhaoxin94/awsome-domain-adaptation This repo is a collection of AWESOME things about domian ada...
最优传输论文（四）：DeepJDOT Deep Joint Distribution Optimal Transport for Unsupervised Domain Adaptation论文原理
lyy的博客
05-12 985
目录前言原理阐述文章介绍前言模型结构Solving the optimization problem with stochastic gradients实验论证（Experiments and Results）Digit classificationOffice-HomeVisDA-2017 前言 本文属于我最优传输系列里的四篇，该专栏用于记录本人研究生阶段相关最优传输论文的原理阐述以及复现工作。 本专栏的文章主要内容为解释原理，论文具体的翻译及复现代码在文章的github中。 原理阐述 文章介绍
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值