Domain Adaptation via Prompt Learning

已于 2023-04-17 17:02:29 修改
阅读量610 收藏
点赞数
分类专栏： Prompt in CV 文章标签： 深度学习 计算机视觉 迁移学习 Powered by 金山文档
于 2023-03-06 21:24:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LuvLive/article/details/129371037
版权
本文提出DAPL，一种使用预训练的CLIP模型和prompt学习进行无监督域适应的方法。DAPL通过学习域无关和域特定的上下文，避免了特征对齐导致的语义信息损失。对比学习策略确保了图像和文本的域、类信息在特征空间的对齐。实验证明DAPL在多个数据集上优于传统方法。
摘要由CSDN通过智能技术生成

论文地址：https://arxiv.org/abs/2202.06687

Abstract

本文提出的DAPL ( Domain Adaptation via Prompt Learning ) 使用了预训练的vision-language模型（来自于CLIP）并且只优化了很少的参数。其主要思想是将域信息嵌入到prompt中（prompt是一种用自然语言生成的表示形式）然后用于执行分类。该域信息仅由来自同一域的图像共享，从而根据每个域动态调整分类器。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LuvMyLife
关注
专栏目录
订阅专栏
【AI理论学习】深入理解Prompt Learning和Prompt Tuning
小哲的博客
04-21 1114
预训练模型中存在大量知识；预训练模型本身具有少样本学习能力。GPT-3 提出的，也有效证明了在Zero-shotFew-shot场景下，模型不需要任何参数，就能达到不错的效果，特别是近期很火的GPT3.5系列中的ChatGPT。在做的过程中，研究者发现让下游任务的目标与预训练的目标对齐是有好的。因此下游任务通过引入文本提示符（textual prompt），把原来的任务目标重构为与预训练模型一致的填空题。情感预测任务。
【prompt一】Domain Adaptation via Prompt Learning
m0_60231311的博客
12-23 2922
当前的UDA方法通过对齐源和目标特征空间来学习域不变特征。这种对齐是由诸如统计差异最小化或对抗性训练等约束施加的。然而，这些约束可能导致语义特征结构的扭曲和类可辨别性的丧失。在本文中，引入了一种新的UDA提示学习范式，即通过提示学习进行领域适应(DAPL)。使用了预训练的视觉语言模型，并且只优化了很少的参数。主要思想是将领域信息嵌入到提示中，这是一种由自然语言生成的表示形式，然后用于执行分类。该域信息仅由来自同一域的图像共享，从而根据每个域动态调整分类器。
Domain Adaptation via Prompt Learning论文解读
yeeeeeeeeeeees的博客
05-29 1437
摘要部分 无监督域自适应（UDA）旨在将从注释良好的源域学习到的模型自适应到只给出未标记样本的目标域。当前的UDA方法通过对齐源和目标特征空间来学习域不变特征。这种对齐是由统计差异最小化或对抗性训练等约束条件强加的。然而，这些约束可能导致语义特征结构的扭曲和类的可辨别性的丧失。在本文中，我们介绍了一种新的UDA提示学习范式（prompt learning paradigm），即通过提示学习进行域适应（DAPL）。与以前的工作相比，我们的方法使用预训练的视觉语言模型，并且只优化了很少的参数。其主要思想是..
(论文解读)Domain Adaptation via Prompt Learning
m0_54248968的博客
08-25 1073
无监督域适应( UDA )旨在将从带有标签的源域数据中学习到的模型适应到未标注的目标域数据集。现有的UDA方法通过对齐源域和目标域特征空间来学习领域不变特征。这种对齐是通过约束实现的，例如统计差异最小化或对抗学习。然而，这些约束会导致语义特征结构的扭曲和类别判别性的丧失。本文提出一种新的UDA提示学习范式，命名为基于提示学习的领域自适应( Domain Adaptation via Prompt Learning，DAPL )。
深度学习进行领域适应(Domain Adaptation)开山之作
zenRRan的博客
05-28 1709
来自：SimpleAI论文标题：Domain Adaptation for Large-Scale Sentiment Classification: A Deep Learning Ap...
2021李宏毅机器学习（5）：Domain Adaptation
niexinyu0026的博客
02-18 1200
2021李宏毅机器学习（5）：Domain Adaptation1 Domain Shift2 Domain Adaptation2.1 Basic Idea——寻找 Feature Extractor2.2 Domain Adversarial Training2.2.1 Feature Extractor2.2.2 Domain Classifier2.2.3 Limitation2.2.4 类对齐问题3 其它情况3.1 Target Domain 极少Data3.2 对 Target Domain 一
domain adaptation 之 domain adversarial learning （一）
钉马掌的小铁匠的博客
08-07 1824
通过对抗性学习学习域之间的不变性是域适应中的一个策略。如何去设计一个新方法对域进行适应被简化为三个问题： 是否选择基于生成或者辨别的网络； 是否共享网络权重； 选择哪一个对抗学习目标。 论文[1]中介绍了一种域自适应方法，该方法使用了生成对抗网络，共享了网络权重，并选择GRL (gradient reversal layer)学习域之间的不变性特征。接下来对论文[1]进行介绍。 该论文的目的是对显微镜图像(microscopy images, MSI) 进行分类，但是显微镜图像是没有标注的，但是整张切片
Decorate the Newcomers: Visual Domain Prompt for Continual Test Time Adaptation
LuvLive的博客
03-28 744
Decorate the Newcomers: Visual Domain Prompt for Continual Test Time Adaptation
Prompt 学习和微调综述 (Prompt Learning and Tuning)
张伟的专栏
04-02 609
在做 objective engineering 的过程中, 研究者发现让下游任务的目标与预训练的目标对齐是有好的. 因此下游任务通过引入文本提示符 (textual prompt), 把原来的任务目标重构为与预训练模型一致的填空题.情感预测任务.输入: "I missed the bus today.I felt so___." 其中 "I felt so" 就是提示词 (prompt), 然后使用 LM 用一个表示情感的词填空.翻译任务.输入: "English。
【AAAI2023】修饰新人：用于持续测试时域适应的视觉领域提示
深度学习与计算机视觉
04-02 413
论文标题：Decorate the Newcomers: Visual Domain Prompt for Continual Test Time Adaptation论文链接：https://arxiv.org/abs/2212.04145代码：https://github.com/Jo-wang/Daily-Paper-Reading/blob/main/test-time/Decorate%...
综述！Prompt 学习和微调(Prompt Learning and Tuning)
Kaiyuan_sjtu的博客
04-12 671
作者丨Jarvis73整理丨极市平台https://zhuanlan.zhihu.com/p/601905339大家好，这里是 NewBeeNLP。Self-Attention 和 Transformer 自从问世就成为了自然语言处理领域的新星. 得益于全局的注意力机制和并行化的训练, 基于 Transformer 的自然语言模型能够方便的编码长距离依赖关系, 同时在大规模自然语言数据集上并行...
多任务学习的新招数：提示学习，让模型学习效率翻倍！更加安全！
最新发布
2401_85375186的博客
09-02 1034
研究成果，这些论文、来源、论文的代码都整理好了，希望能给各位的学术研究提供新的思路。
万字详解提示学习（Prompt Learning ）和微调 （Prompt Tuning）
Kaiyuan_sjtu的博客
01-05 3422
作者：爱吃牛油果的璐璐，北京大学电子与通信工程硕士后台留言『交流』，加入 NewBee讨论组前言Self-Attention 和 Transformer 自从问世就成为了自然语言处理领域的新星。得益于全局的注意力机制和并行化的训练，基于 Transformer 的自然语言模型能够方便的编码长距离依赖关系，同时在大规模自然语言数据集上并行训练成为可能。但由于自然语言任务种类繁多，且任务之间的差别不...
【ECCV 2022】Visual Prompt Tuning
梁瑛平的博客
09-27 1610
目前采用预训练模型的方法包括更新所有的主干参数，即完全微调。本文则介绍了视觉提示调优（VPT）作为一种有效的大型 Transformer 模型的替代方案。VPT 从有效调优大型语言模型的最新进展中获得灵感，在输入空间中只引入了少量（少于模型参数的1%）的可训练参数，同时保持模型主干冻结。对各种下游识别任务的广泛实验表明，与其他参数高效的调优协议相比，VPT获得了显著的性能提高。最重要的是，在许多情况下，VPT在跨模型容量和训练数据规模的情况下甚至优于完全微调，同时降低了每个任务的存储成本。
整理了一波Prompt Learning的文章，看完这些就都懂了
zenRRan的博客
09-10 1521
每天给你送来NLP技术干货！来自：AI自然语言处理与知识图谱大家好，我是大林，这两天看了下前段时间如火如荼的Prompt，看了一些文章和问答，大概了解了，整理如下，看完这些，收藏，基本都了解了。关注我，了解更多前沿。以下截图均来自文章内部----------------------------------------1、近代自然语言处理技术发展的“第四范式” - CMU 博士后研究员刘鹏飞http...
2021 Domain Adaptation（李宏毅
linyuxi_loretta的博客
11-02 532
在前面介绍的模型中，一般我们都会假设训练资料和测试资料符合相同的分布。而。（域的转变）Domain Adaptation领域自适应学习，就是将在A domain上学到的东西应用到B domain上，这个技术 也可以看作是transfer learning的其中一个环节（在A任务上学到的技能可以用到B任务上）。Domain Shift,其实有很多种不同的类型：模型输入的资料的分布有变化（源域黑白，目标域彩色）输出的分布也可能有变化（源域均匀分布，目标域极端分布）
AAAI 2023大奖出炉！北大等国内机构斩获杰出学生论文！
阿木寺的博客
02-11 3423
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>CV微信技术交流群转载自：机器之心刚刚，AAAI 2023 大会公布了今年的杰出论文奖、杰出学生论文奖等重要奖项。AAAI 全称为国际先进人工智能协会 (Association for the Advancement of Artificial Intelligence)，是人工智能和机器学习领域的顶级会议，据最...
北大等国内机构获杰出学生论文，AAAI 2023各大奖项出炉
深度学习技术前沿
02-12 436
来源：机器之心AAAI 全称为国际先进人工智能协会 (Association for the Advancement of Artificial Intelligence)，是人工智能和机器学习领域的顶级会议，据最新中国计算机学会推荐国际学术会议和期刊目录，AAAI 为人工智能领域的 A 类会议。AAAI2023 共接收 8777 篇投稿，接收论文 1721 篇，接受率仅为 19.6%。AAAI-...
Domain adaptation
04-04
Domain adaptation is a type of machine learning technique that is used to transfer knowledge from one domain to another. In other words, it is the process of modifying a model that was trained on one domain (e.g. images of cats) so that it can perform well on another, related domain (e.g. images of lions). The need for domain adaptation arises when the training data and the testing data come from different distributions. In such cases, a model trained on one domain may not perform well on another domain, as the features that are relevant in one domain may not be relevant in the other. Domain adaptation techniques attempt to bridge this gap by adapting the model to the new domain. This can be achieved by various means, such as re-weighting the training data, learning domain-invariant features, or using domain-specific knowledge to modify the model. Domain adaptation has applications in various fields, including computer vision, natural language processing, and speech recognition.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值