【最优传输论文笔记三】Domain Adaptation with Regularized Optimal Transport（2014 ECML）

VIP文章 已于 2023-11-05 20:10:57 修改
阅读量502 收藏 1
点赞数
分类专栏： 最优传输 文章标签： 论文阅读 算法 机器学习
于 2023-04-12 15:09:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60231311/article/details/130099702
版权

摘要

首个使用最优传输来解决领域自适应问题，通过在源域和目标域的概率分布函数之间搜索最佳运输计划，可以估计学习样本的非线性和可逆变换。任何标准的机器学习方法都可以应用于转换集，这使得本文的方法非常通用。本文提出了一种新的优化传输算法，该算法在优化中引入了标签信息：这是通过将有效的矩阵缩放技术与非凸正则化项的优化相结合来实现的。

本文为源域中的每个样本定义了一个本地运输计划，从这个意义上说，域自适应问题可以被视为要传输的所有样本的图匹配问题，其中通过将源样本映射到与目标域的边缘分布匹配的坐标来找到它们的最终坐标。

一、Optimal Transportation

1.1The Monge-Kantorovitch Problem and Wasserstein Space

T#u在\Omega _{2}上的概率测度：

设u_{s}=P(\Omega _{1})和u_{t}=P(\Omega _{2})是两个域的两个概率测度。如果T#u_{s}=u_{t}，则称T为传输。与此相关的成本 :

密度函数：dμ(x)=f(x)dx

其中成本函数c:Ω1×Ω2→ R+可以理解为正则距离函数，但也可以理解为将质量μ（x）从x移动到y所需的能量。现在可以将最佳传输T0定义为以下最小化问题的解：

将 Ω1中的x运输到Ω2的T(x)的最小成本的解，即Monge传输问题。

最优输运的等价Kantorovitch公式寻求Ω1和Ω2之间的概率耦合γ∈P（Ω1×Ω2）：

其中P^{\Omega _{1}}是\Omega _{i}上的投影。在这个公式中，γ可以被理解为具有边缘μs和μt的联合概率测度。γ0是最优运输问题的唯一解。它允许将μs和μt之间的Wasserstein距离（EMD距离）定义为： 

sup上确界：一个集合最小的上界；inf下确界：一个集合最大的下界

1.2 Optimal Transport of Discrete Distributions

最优传输的离散分布

最低0.47元/天 解锁文章
羊驼不驼a
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Optimal Transport for Domain Adaptation
12-20
Domain adaptation is one of the most challenging tasks of modern data analytics. If the adaptation is done correctly, models built on a specific data representation become more robust when confronted to data depicting the same classes, but described by another observation system. Among the many strategies proposed, finding domain-invariant representations has shown excellent properties, in particular since it allows to train a unique classifier effective in all domains. In this paper, we propose a regularized unsupervised optimal transportation model to perform the alignment of the representations in the source and target domains. We learn a transportation plan matching both PDFs, which constrains labeled samples of the same class in the source domain to remain close during transport. This way, we exploit at the same time the labeled samples in the source and the distributions observed in both domains. Experiments on toy and challenging real visual adaptation examples show the interest of the method, that consistently outperforms state of the art approaches. In addition, numerical experiments show that our approach leads to better performances on domain invariant deep learning features and can be easily adapted to the semi-supervised case where few labeled samples are available in the target domain.
最优传输论文（二）Deep Joint Distribution Optimal Transport for Unsupervised Domain Adaptation
qq_42595295的博客
12-01 962
DeepJDOT是基于ot的将特征和标签联合的差异度量进行优化的方法，Deep的含义为使用CNN构造特征提取器g和分类器f。
最优传输（Optimal Transport）
最新发布
qq_43010742的博客
02-22 1791
最优传输（Optimal Transport）是一种数学理论和计算方法，用于描述两个概率分布之间的距离或者对应关系。
最优传输-Sinkhorn算法（第九篇）
热门推荐
Grant Tour of Algorithms
06-30 2万+
最优传输系列是基于Computational Optimal Transport开源书的读书笔记 Sinkhorn算法 在上一篇里，我们介绍了加入熵正则化的最优传输问题–熵正则化通过限制最优传输问题解的复杂度，可以以大幅降低的复杂度得到最优传输问题的近似解。 不过，熵正则化仍然是一个概念，需要一个有效的算法，才能够释放它的潜力。 所以，在这一篇里，我们探索实际应用中十分常见的Sinkhorn算法。...
论文研究-Unsupervised domain adaptation with joint supervised sparse coding and Discriminative regularization term.pdf
08-15
结合有监督的稀疏编码和判别正则项的无监督域适应算法，朱琳，张翔，域适应是通过减小不同域分布之间的差异以期加强分类器的泛化性能。本文专注于无监督域适应问题,其目标域无标签。大部分已有的算��
论文笔记-2014ECML-ImportanceWeighted Inductive Transfer Learning for Regression.pdf
11-05
论文摘要：我们考虑了数据集移动的归纳转移学习，在这种情况下，两个采样的，但密切相关的数据集的分布不同。当需要预测的目标数据稀缺时，就会使用另一个次要数据集的数据来改进预测。迁移学习试图通过适当补偿这样的数据集移动来解决这个任务。在这项工作中，我们假设协变量和因变量的分布可以在数据集之间任意不同。本文提出了两种基于重要性加权的回归方法。这里对辅助数据的每个实例都分配了一个权重，以便该数据对目标数据的预测作出积极的贡献。实验表明，该方法在基准测试和真实数据集上都取得了良好的效果。
【最优传输论文笔记一】Optimal Transport for Domain Adaptation
m0_60231311的博客
03-24 1419
在本文中，描述了一种基于最优传输的新框架来解决无监督领域自适应问题。我们提出了两种正则化方案来在运输计划的估计过程中对源域中的类结构进行编码，从而强化了同一类的样本必须经历类似变换。并将这种OT正则化框架扩展到半监督域自适应情况，即目标域中几乎没有标签可用的情况。关于计算方面，建议使用条件梯度算法的修改版本，即广义条件梯度分裂，这使该方法能够扩展到真实世界的数据集。最后，我们将所提出的方法应用于合成数据集和现实世界数据集。结果表明，最优运输领域自适应方案往往优于竞争的最先进的方法。
最优传输论文（一）：Domain Adaptation with Regularized Optimal Transport论文原理
lyy的博客
05-10 877
目录前言原理阐述文章介绍Monge-Kantorovitch ProblemRegularized Optimal T ransportDomain Adaptation with Label Regularized Optimal TransportMajoration Minimization Strategy 前言 本文属于我最优传输系列里的一篇，该专栏用于记录本人研究生阶段相关最优传输论文的原理阐述以及复现工作。 本专栏的文章主要内容为解释原理，论文具体的翻译及复现代码在文章的github中。
Domain Adaptation论文合集
且慢
11-08 820
转载于:https://blog.csdn.net/weixin_37993251/article/details/101266116 [1]A Survey on Transfer Learning:CUHK的杨强教授于2010年发表在IEEE的Transactions on knowledge and data engineering上关于迁移学习的综述性论文。 在许多机器学习和数据挖掘算法中，一个主要的假设是训练和未来的数据必须在相同的特征空间中，并且具有相同的分布。然而，在许多实际应用程序中，这
论文Intramodality Domain Adaptation Using Self Ensembling and Adversarial Training
03-05
不同机构或者肿瘤程度导致数据集的domain shift问题: 论文Intramodality Domain Adaptation Using Self Ensembling and Adversarial Training,本论文提出方案来缓解这个问题.
论文笔记：Cluster Alignment with a Teacher for Unsupervised Domain Adaptation
01-06
Profile         最近因为个人需要看了一些 DADADA 和 DRDRDR 的文章。         这篇文章比较有意思的是：将聚类设计成目标函数，从而一方面实现经网络抽取特征在分布上的自然聚类，一方面因为特征分布的聚类自然提高了分类效果，一方面加快了聚类的速度，同时最主要的就是实现了不同源域之间的结构的细粒度对齐，从而促进 UDAUDAUDA 算法的性能。 Introduction         DADADA 有一个基本的解决思路就是：认为源域 SSS 与目标域 TTT 的边缘分布在高层语义空间是可以等价的，因此，致力于在高层隐空间拉近两个域的分布，设计为一个类似 min⁡θ
最优传输论文（五十一）：Learning to Combine Knowledge Aggregation for Multi-Source Domain Adaptation论文原理_CtrlZ1的博客-CSDN博客.mht
05-11
最优传输论文（五十一）：Learning to Combine Knowledge Aggregation for Multi-Source Domain Adaptation论文原理_CtrlZ1的博客-CSDN博客.mht
海天讲座（四）最优传输理论
破晓的专栏
08-10 1609
公元2016年2月11日上午，加州理工学院，麻省理工学院以及“激光干涉引力波天文台（LIGO）”的研究人员在华盛顿宣布人类首次听到了宇宙的涟漪-引力波，从而从实验角度再度证实了爱因斯坦广义相对论。当时，老顾正在飞往加州的飞机上，获知消息后异常激动。从历史上看，爱因斯坦广义相对论的理论自洽性的证明是“正质量猜测”，由丘成桐先生和其学生Schoen于1979年共同完成。后来丘成桐先生所证明的卡拉比-丘流形成为现代超弦理论的基石，丘成桐先生所用的手法是复蒙日-安培方程。老顾此行的目的就是向国际学界同行...
最优传输之浅谈
Hungryof的专栏
12-03 6219
总说 最近最优传输很火啊，而且用处很大。这里简单记录，到底讲了啥问题，以及解法和应用。 简单理解：其实就是把 AAA数据迁移到BBB上，当然了。你可以理解成两堆土，从AAA土铲到另外一个地方，最终堆成BBB土。就像是以前初中学的线性规划一样的：我3个城市（A, B, C）有1, 0.5, 1.5吨煤，然后要运到2个其他城市，这两个城市(C, D)分别需要2，1吨煤。然后当然，不同城市到不同的费用不同，让你算最优运输方案和代价。 基本概念 Probability vector / Histogram （概率向
最优传输（OT）
芒果干的博客
10-30 7581
1. 基本概念 最优传输是在可分度量空间中，讨论概率测度间最优传输变换的一类优化问题，涉及到偏微分方程和凸几何等多种理论，是多学科交叉的研究领域。直观的一个解释是：假设有两个工地\( X \)和\( Y \)，工地\( X \)上有\( m \)堆土，工地\( Y \)上有\( n \)个坑，现在要将工地\( X \)上的\( m \)堆土全部.
[论文笔记] Domain Adaptation 论文整理(持续更新)
weixin_44563093的博客
05-12 239
论文笔记-Domain Adaptation for Semantic Segmentation with Maximum Squares Loss
kingsleyluoxin的博客
09-26 1087
论文信息 论文标题：Domain Adaptation for Semantic Segmentation with Maximum Squares Loss 论文作者：Minghao Chen, Hongyang Xue, Deng Cai 研究机构：浙江大学；阿里巴巴—浙江大学前沿技术联合研究中心 论文出处：ICCV 2019 引用信息： @inproceedings{DBLP:conf/iccv/0001XC19, author = {Minghao Chen and
domain adaptation with auxiliary task
10-20
Domain adaptation with auxiliary task是一种在领域适应中使用辅助任务的方法。领域适应是指将在一个领域上训练的模型应用到另一个领域的问题上。通常情况下，模型在不同领域之间的性能会下降，这是因为两个领域之间的数据分布差异。 辅助任务是指在领域适应过程中引入一个与目标任务相关但在源领域上已有标注的任务。这个辅助任务可以帮助模型学习到源领域和目标领域之间的共享特征和知识。通过将源领域和目标领域的数据同时输入到模型中进行训练，模型可以学习到源领域和目标领域之间的联系。 使用辅助任务的方法有两种：joint training和pretraining。在joint training中，源领域的数据和目标领域的数据通过一个共享的网络结构进行训练，源领域的任务和目标领域的任务可以同时进行。在pretraining中，首先使用源领域的数据训练一个模型，然后将这个已经训练好的模型作为初始模型，再使用目标领域的数据进行微调。 辅助任务的引入可以带来多个优势。首先，通过在源领域上引入额外的训练数据，可以提高模型在源领域上的性能。其次，通过学习到源领域和目标领域之间的共享特征，模型可以更好地适应目标领域的数据，从而提高在目标领域上的泛化能力。最后，辅助任务可以帮助模型避免因迁移而导致的信息丢失和过拟合问题。 综上所述，domain adaptation with auxiliary task是一种通过引入辅助任务来加强领域适应的方法。通过辅助任务的学习，模型可以从源领域和目标领域的数据中获得更多的共享知识和特征，从而提高在目标领域上的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值