开放世界下的混合域适应 ——面向真实自然场景下的全新迁移学习范式

最新推荐文章于 2024-07-06 05:29:23 发布
最新推荐文章于 2024-07-06 05:29:23 发布
阅读量862 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/moxibingdao/article/details/106678764
版权
文章提出了开放混合域适应（Open Compound Domain Adaptation, OCDA）的概念，针对真实自然场景中连续且复杂的域适应问题。通过域解耦、课程学习和域记忆三个核心模块，解决混合、异质及未知数据域带来的挑战，以提升模型在真实场景下的泛化能力。论文、代码和数据集均已开源。" 138360810,7337247,LLM OS：构建高效的语言模型操作系统,"['系统架构', '深度学习', '自然语言处理', '微服务架构', '容器化技术']
摘要由CSDN通过智能技术生成

Ziwei Liu*, Zhongqi Miao*, Xingang Pan, Xiaohang Zhan, Dahua Lin, Stella X. Yu, Boqing Gong, Open Compound Domain Adaptation, 

CVPR 2020 Oral.

(港中文 & 伯克利 & 谷歌)

1

  引言

域适应（domain adaptation）旨在将给定训练集上得到的模型迁移到一个数据分布不同的测试集上。这种分布差异现阶段一般用离散的数据域来模拟，比如从自动驾驶中晴天采集的数据迁移到雨天采集的数据。

但是，这种已知且明确区分（a known and clear distinction）的数据域在实际应用中很难被定义。

例如，真实自然场景下的自动驾驶数据往往来自于混合（mixed）、连续变化（continuous）、甚至完全未知（unseen）的天气情况。

因此，传统域适应中利用离散数据域来模拟的方式变得不再适用于真实场景。

2

最低0.47元/天 解锁文章
我爱计算机视觉
关注
Prompt-Tuning——深度解读一种新的微调范式
夏栀的博客
11-19 7万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
大语言模型原理与应用实践：基于监督学习进行微调 Supervised Learning & Fine-Tuning
程序员光剑
06-25 273
近年来，随着深度学习技术的快速发展，大规模语言模型(Large Language Models, LLMs)在自然语言处理(Natural Language Processing, NLP)领域取得了巨大的突破。这些大语言模型通过在海量无标签文本数据上进行预训练，学习到了丰富的语言知识和常识，可以通过少量的有标签样本在下游任务上进行微调(Fine-Tuning)，获得优异的性能。其中最具代表性的大模型包括OpenAI的GPT系列模型、Google的BERT、T5等。
OpenCompoundDomainAdaptation-OCDA:Pytorch实施“开放式复合域适配”（CVPR 2020 ORAL）
03-19
开放式化合物领域适应 概述 Open Compound Domain Adaptation (OCDA)是作者对以下描述的复合域适配器的重新实现： “”*，*，，，，，在计算机视觉IEEE会议（香港中文大学伯克利分校与谷歌和）和模式识别（CVPR）2020年，口头报告 欲了解更多信息，请联系和。 要求 （版本> = 0.4.1） 更新： 2020年11月9日：我们已经上传了C-Faces数据集。相应的代码将很快更新。请耐心等待。非常感谢你！ 2020年6月16日：我们发布了C-Digits数据集和相应的权重。 资料准备 首先，请下载 ，将其保存到目录中，并相应地在配置文件中更改数据集根。该文件包含MNIST，MNIST-M，SVHN，SVHN-bal和SynNum。 对于C-Faces，请先下载 。由于它是专有数据集，因此我们只能在私有化训练期间使用的数据列表。我们将相应地更新数据集
Open Compound Domain Adaptation
weixin_36670529的博客
04-28 1851
目录 1引言 2问题 3实验方法 4实验结果 5实验总结 6传送门 CVPR 2020Oral.(港中文&伯克利&谷歌) 1引言 域适应（domain adaptation）旨在将给定训练集上得到的模型迁移到一个数据分布不同的测试集上。这种分布差异现阶段一般用离散的数据域来模拟，比如从自动驾驶中晴天采集的数据迁移到雨天采集的数据。但是，这种已知且明确区分（aknown and clear dist...
跨越数据边界：域适应在目标检测中的革新作用
最新发布
2401_85439108的博客
07-06 652
域适应旨在使模型在一个域（源域）上学到的知识能够成功地迁移到另一个不同的域（目标域）。通过本文的探讨，我们可以看到域适应技术如何帮助目标检测模型跨越数据分布的差异，实现在多样化场景中的应用。域适应是机器学习中的一个挑战，它关注如何将在一个数据集（源域）上训练的模型应用到另一个不同的数据集（目标域）。域适应面临的挑战包括选择合适的适应策略、处理源域和目标域之间的分布差异、以及确保模型在目标域上的泛化能力。域适应在目标检测中发挥着至关重要的作用，它使得模型能够适应不同的数据分布，提高了模型的泛化能力和实用性。
迁移学习具体场景与方法
大脸猫的博客
04-09 674
导语 实际上，很少有人从头开始训练整个卷积网络（使用随机初始化），因为拥有足够大小的数据集相对很少。相反，通常在非常大的数据集上对ConvNet进行预训练（例如ImageNet，其中包含120万个具有1000个类别的图像），然后将ConvNet用作初始化或固定特征提取器以完成感兴趣的任务。 三种主要的迁移学习方案 ConvNet作为固定特征提取器。取一个在ImageNet上预先训练好的ConvNet，删除最后一个完全连接的层(这层的输出是不同任务(如ImageNet)的1000个类的分数)，然后将其余
论文笔记|Open-world Learning and Application to Product Classification
u011150266的博客
06-30 750
单位：燕山大学 作者：徐甘霖 在开放领域文本分类的基础上,提出开放世界学习的概念，即一个系统在能识别已知类、拒绝未知类的基础上，能够通过不断的学习未知类。当学习的未知类的数量足够多时，能够将这个未知类增加到系统的已知类集合中。为此，作者提出一个L2AC模型，如下图所示。 模型的核心组件有Ranker和Mete-Classifier组成，Ranker的作用的是在每个已知类中抽取与一个测试样例的最近邻的k个已知类样例，然后将这些已知类的k个样例存入Meta-Classifier的Memory中。Meta-Cl
[论文解读]OpenWGL: Open-World Graph Learning
cute_cxy的博客
06-09 819
在传统的图学习任务（如节点分类）中，学习是在一个封闭的环境中进行的，其中提供了类的数量及其训练样本来帮助训练模型，学习目标是将未标记的节点正确地分类到已知的类中。事实上，由于网络的标记能力有限和动态演化，网络中的一些节点可能不属于任何现有/可见类，因此无法通过封闭世界学习算法进行正确分类。本文提出了一种新的开放世界图学习范式，其学习目标不仅是将属于可见类的节点分类为正确的组，而且将不属于现有类的节点分类为不可见类。......
【AI大模型企业级应用开发实战】企业级应用集成AI大模型的架构，包括大模型概述、集成实践、技术架构设计及应用场景《AI大模型应用架构（ALLMA）白皮书》
程序员光剑
06-30 9215
随着大模型浪潮的兴起，生产力将发生质的变化，从而引发生产力和生产关系的重塑。随着模型能力的提升和使用成本的降低，基于大模型构建应用将成为主流趋势。然而，应用层能否与大模型高效交互，将成为产品方案探索效率和效果的关键因素。因此，在模型之上的工程架构中，必须构建一套完整的大模型交互管道（Interface），将应用层（Application） 和模型层（Model）进行串联，为诸如Prompt Engineering、Fine-Tuning和模型评估等关键环节提供全面支持，以实现产品方案探索的降本增效 ....
面向数据安全共享的联邦学习研究综述
aK031999的博客
03-11 723
开放隐私计算 摘　要：跨部门、跨地域、跨系统间的数据共享是充分发挥分布式数据价值的有效途径，但是现阶段日益严峻的数据安全威胁和严格的法律法规对数据共享造成了诸多挑战。联邦学习可以联合多个用户在不传输本地数据的情况下协同训练机器学习模型，是实现数据安全共享的新范式。对联邦学习的工作原理及与其密切相关的技术进行了简要介绍，并系统地总结联邦学习的隐私安全性以及其与区块链结合的研究现状，最后对下一步的研究方向做出了展望。内容目录：1　相关技术介绍1.1　隐私计算框架1.2　联邦学习1.3　区块链技术1.4　相关密码
Open-world Machine Learning: Applications, Challenges,and Opportunities || 阅读笔记
m0_46297969的博客
10-07 2136
研究背景：传统的机器学习（主要是监督学习）遵循封闭世界学习的假设（将当前未知的事物都设为假的假设），对于他们每个测试类都有一个训练类可用。然而，这样的模型无法识别训练期间看不见的类（即看不见的类）,开放世界机器学习（OWML）则处理看不见的类。研究内容：first 概述OWML对现实世界的重要性；next 探索和讨论OWML的不同维度。本文对OWML的各种技术进行了系统评价；介绍了OWML的研究差距、挑战和未来方向。研究意义：本文将帮助研究人员了解 OWML 的全面发展以及将研究扩展到合适领域的可能性。
开放世界的半监督学习OPEN-WORLD SEMI-SUPERVISED LEARNING
pingguolou的博客
06-02 2160
开放世界的半监督学习在现实世界中应用半监督学习的一个基本限制是假设未标记的测试数据只包含以前在标记的训练数据中遇到的类别。然而，这个假设对于野外的数据很少成立，因为在测试时可能会出现属于新类的实例。在这里，我们引入了一个新的开放世界的半监督学习环境，它将新的类可能出现在未标记的测试数据中这一概念正式化。在这种新的设置中，目标是解决已标记和未标记数据之间的类别分布不匹配问题，在测试时，每个输入实例要么需要被归入现有的类别之一，要么需要初始化一个新的未见过的类别并将实例分配给它。为了解决这个具有挑战性的问题，我
NIPS搜领域自适应
baidu_37122643的博客
01-25 458
NIPS搜领域自适应 搜索结果 • (2020) Heuristic Domain Adaptation Shuhao Cui, Xuan Jin, Shuhui Wang, Yuan He, Qingming Huang • (2020) Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation Yawei Luo, Ping Liu, Tao Guan, Junqing Yu, Yi Yang • (2020) Univer
论文解读 | AAAI2023 混合多域领域自适应以及标签分布迁移研究
AITIME_HY的博客
03-24 874
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！徐鹏程：西安大略大学博士生内容简介当前的混合多目标领域自适应(BTDA)方法通常推断或考虑域标签信息，但未充分考虑多领域的类别特征结构，这会限制模型的性能，尤其是在标签分布变化的情况下。我们证明，如果各个域的类别分布充分对齐，模型也能达到较好的性能，即使面临域的不平衡和类别的标签分布变化，域标签对于BTDA来说并不是直接必需的。然而，我们观...
300+篇CVPR 2020代码开源的论文（转载）
Mihu_Tutu的博客
06-17 3789
本文转自https://github.com/amusi/CVPR2020-Code，详细信息请跳转至该网址，有更多惊喜。 前言 之前Amusi整理了1467篇CVPR 2020所有论文PDF下载资源，以及270篇CVPR 2020代码开源论文项目，详见：270篇CVPR 2020代码开源的论文，https://github.com/amusi/daily-paper-computer-vision CVPR 2020代码开源项目一放出，得到不少CVers的关注，重点是：开源和根据方向分类。目前star数已
《Variational Interaction Information Maximization for Cross-domain Disentanglement》论文学习
uestc_huhu的博客
04-07 637
abstract Cross-domain disentanglement 是将学习表示划分为领域不变表示和领域特定表示的问题，是成功实现领域转移或者测量两个领域之间语义距离的关键，在信息论的基础上，我们把领域不变和领域特定表示的同时学习作为多信息约束的联合目标，这不需要对抗训练或者梯度反层，我们给出了目标的一个易于处理的界，并提出了交互信息自动编码器（IIAE）的生成模型，我们的方法揭示了跨域解缠的理想表征及其与变分自编码(VAE)的联系，在图像到图像的转换和跨域检索任务中验证了该模型的有效性。我们进一步
域适应-应用领域
一路狂奔的猪的博客
01-05 2946
当前基于深度学习的域适应，主要研究领域以及代表性的文章： 1.分类        Duplex Generative Adversarial Network for Unsupervised Domain Adaptation        Maximum Classifier Discrepancy for Unsupervised Domain Adaptation 2.    安...
深度学习：理解与应用——领域适应与迁移学习入门
此外，报告还可能涉及一些经典案例研究，展示在图像识别、自然语言处理等实际问题中，如何有效地进行域适应和迁移学习。 最后，作者总结了当前领域的挑战与前景，如开放世界假设、跨领域性能评估标准的制定，以及...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值