论文笔记：Optimal Transport for Conditional Domain Matching and Label shift

最新推荐文章于 2024-08-20 20:31:11 发布
最新推荐文章于 2024-08-20 20:31:11 发布
阅读量777 收藏 4
点赞数 2
分类专栏： 迁移学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36993032/article/details/116375862
版权

本文研究无监督迁移学习，也就是说在目标域中y的标签是缺失。最泛化的情况是同时存在label shift和class-conditional shift。
label shift: p S ( y = j ) ≠ p T ( y = j ) p_S(y=j)\neq p_T(y=j) pS​(y=j)​=pT​(y=j)
class-conditional shift: p S ( z ∣ y = j ) ≠ p T ( z ∣ y = j ) p_S(z|y=j)\neq p_T(z|y=j) pS​(z∣y=j)​=pT​(z∣y=j)

标记

含义
在这里插入图片描述 输入和输出空间
在这里插入图片描述 潜在空间
在这里插入图片描述 从X到Z的representation mappings的集合
在这里插入图片描述 假设空间，从Z到Y的函数集合
U {S, T}
在这里插入图片描述 潜在空间的条件概率
在这里插入图片描述 类别j的标签比例

过往研究举例

  • Zhang等人(2013)使用分布的核嵌入来估计重要权值，并对样本进行转换，从而匹配类条件分布。
  • Gong等人(2016)遵循类似的想法，假设存在一个将源类条件映射到目标类条件的线性映射。
  • Combes等人(2020)提出了对这一问题的理论分析，表明通过匹配两个领域中的标签比例和类条件，可以实现目标泛化。

核心目标

在上述偏移存在的情况下，无监督迁移学习的核心目标是优化如下问题：
在这里插入图片描述

  • L ( . , . ) L(., .) L(.,.)是连续损失函数
  • D ( . , . ) D(., .) D(.,.)是源域和目标域的概率分布的距离度量
  • Ω ( . , . ) \Omega(., .) Ω(.,.)是罚函数项

因此具体目标是

  • 最小化边际分布的距离
  • 正确预测标签

最优传输

最优传输最早在18世纪80年代由蒙格(Monge)提出，传统的蒙格表示法较为复杂。在上世纪由Kantorovich提出新的松弛表示法，他还在1975年因这个贡献获得诺贝尔经济学奖。
最优传输可以对离散情况和连续情况都讨论，本论文只需要考虑离散情况。

例子

在下图中有 { x i } i = 1 N \{x_i\}_{i=1}^N { xi​}i=1N​个仓库， { y j } j = 1 N \{y_j\}_{j=1}^N { yj​}j=1N​

最低0.47元/天 解锁文章
Lloaded%356
关注
专栏目录
最优传输论文（八）：Optimal Transport for Multi-source Domain Adaptation under Target Shift论文原理
lyy的博客
05-23 1072
目录前言原理阐述介绍最优传输Basics and NotationsEntropic RegularizationDOMAIN ADAPTATION UNDER THE TARGET SHIFTJOINT CLASS PROPORTION AND OPTIMAL TRANSPORT (JCPOT)Data and Class-Based WeightingMulti-Source Domain Adaptation with JCPOT 前言 本文属于我最优传输系列里的八篇，该专栏用于记录本人研究生阶段相
LabelShift
08-13
C#入门小练习，winform窗口开发小技巧
Conditional Flow Matching: Simulation-Free Dynamic Optimal Transport论文阅读笔记
最新发布
weixin_46103454的博客
08-20 588
假设给定一个目标流pt和生成它的向量场ut .学习与pt相匹配的流的一种方法是通过对目标向量场的回归进行梯度下降。
Computational Optimal Transport 笔记——第二章（2）
weixin_40239306的博客
02-08 1092
本章主要是对OT问题的理论基础进行叙述
【深度学习】日常笔记14
努力学习的DS
07-24 544
在这个网络中，每一层的隐藏变量h(l)通过变换函数fl(h(l-1))得到，其中l表示层数，h(l-1)表示上一层的隐藏变量。在深层网络中，我们有一系列的变换函数f(l)，其中每个函数都作用在前一层的隐藏变量h(l-1)上，以产生当前层的隐藏变量h(l)。· ∂W(l)h(l) 表示将所有∂h(L-1) h(L)，∂h(l)h(l+1)，∂W(l)h(l)这些项依次相乘。②初始化权重的对称性：如果网络的初始权重具有某种对称性，比如在对称的权重矩阵中，不同的神经元连接具有相同的权重值。
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 6022
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
（十：2020.08.28）CVPR 2018 追踪之论文纲要（译）
Jojo论文基地
08-28 7229
CVPR 2018 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这979篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
动手深度学习笔记（二十三）4.9. 环境和分布偏移
juluwangriyue的博客
03-01 840
动手深度学习笔记（二十三）4.9. 环境和分布偏移4. 多层感知机4.9. 环境和分布偏移4.9.1. 分布偏移的类型4.9.1.1. 协变量偏移 4. 多层感知机 4.9. 环境和分布偏移 前面我们学习了许多机器学习的实际应用，将模型拟合各种数据集。 然而，我们从来没有想过数据最初从哪里来？以及我们计划最终如何处理模型的输出？ 通常情况下，开发人员会拥有一些数据且急于开发模型，而不关注这些基本问题。 许多失败的机器学习部署（即实际应用）都可以追究到这种方式。 有时，根据测试集的精度衡量，模型表现得非常出色
Optimal Transport for Domain Adaptation
12-20
Domain adaptation is one of the most challenging tasks of modern data analytics. If the adaptation is done correctly, models built on a specific data representation become more robust when confronted to data depicting the same classes, but described by another observation system. Among the many strategies proposed, finding domain-invariant representations has shown excellent properties, in particular since it allows to train a unique classifier effective in all domains. In this paper, we propose a regularized unsupervised optimal transportation model to perform the alignment of the representations in the source and target domains. We learn a transportation plan matching both PDFs, which constrains labeled samples of the same class in the source domain to remain close during transport. This way, we exploit at the same time the labeled samples in the source and the distributions observed in both domains. Experiments on toy and challenging real visual adaptation examples show the interest of the method, that consistently outperforms state of the art approaches. In addition, numerical experiments show that our approach leads to better performances on domain invariant deep learning features and can be easily adapted to the semi-supervised case where few labeled samples are available in the target domain.
04.9. 环境和分布偏移
weixin_45063703的博客
09-11 1313
在构建模型时，我们必须考虑到这种可能性，并继续监控实时系统，并对我们的模型和环境以意想不到的方式纠缠在一起的可能性持开放态度。统计学家称之为协变量偏移（covariate shift）， 因为这个问题是由于协变量（特征）分布的变化而产生的。虽然有时我们可以在不引用因果关系的情况下对分布偏移进行推断， 但在我们认为导致的情况下，协变量偏移是一种自然假设。在相应的假设条件下，可以在测试时检测并纠正协变量偏移和标签偏移。机器学习的许多应用中都存在类似的问题： 通过将基于模型的决策引入环境，可能会破坏模型。
Learning Imbalanced Datasets withLabel-Distribution-Aware Margin Loss
PLANTTHESON的博客
09-25 589
标签边界损失函数LDAM
域适应(DA)---域泛化(DG)
专业主义
05-10 1万+
集成学习卷积神经网络通过激活与标签相关的显性特征来进行图像分类。当训练和测试数据处于类似的分布时，它们的主导功能类似，导致不错的测试性能。尽管如此，在用不同的分布测
【无标题】
m0_46598543的博客
01-26 295
具体来说，在条件分布对齐后，利用源域标签分布和目标域标签分布，在训练阶段和推理阶段调整分类器的预测。源域的标签分布很容易就可以得到，作者通过模型的预测和源域像素级分布先验来估计目标域的标签分布。label shift：源域与目标域的标签分布不一致，比如一些类在源域中出现的很频繁，但是在目标域中出现的很少，这样就导致了分类器对于一些类的分类结果更加偏向于源域。首先要解决条件分布对齐的问题，在条件分布对齐的基础上，进行分类器纠正，分类器纠正需要得到目标域的标签分布，作者在3.4介绍了得到目标域标签分布的方法。
Re24：读论文 IOT-Match Explainable Legal Case Matching via Inverse Optimal Transport-based Rationale Ext
诸神缄默不语的博客
08-03 2118
论文阅读笔记：Explainable Legal Case Matching via Inverse Optimal Transport-based Rationale Extraction
哈佛大学提出时间序列域自适应框架，解决跨域feature&label偏移问题
AI蜗牛车
04-12 1872
今天介绍的这篇文章，是哈佛大学在2023年2月份发出的一篇时间序列文章，提出了一种时间序列域自适应框架，能够有效解决跨域的feature和label偏移问题。论文标题：Domain Adaptation for Time Series Under Feature and Label Shifts下载地址：https://arxiv.org/pdf/2302.03133v1.pdf1Motivati...
数据分布矫正
鱼香土豆丝
03-24 1554
域适应
ota: optimal transport assignment for object detection
03-16
OTA（Optimal Transport Assignment）是一种用于目标检测的最优传输分配算法。它通过计算两个概率分布之间的最小成本来确定两个集合之间的最佳匹配。在目标检测中，OTA可以用于将检测到的目标与真实目标进行匹配，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值