MaPLe: Multi-modal Prompt Learning

已于 2023-08-05 16:25:24 修改
阅读量214 收藏 1
点赞数
分类专栏： Prompt in CV 文章标签： prompt 计算机视觉 深度学习
于 2023-08-01 00:23:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LuvLive/article/details/131957559
版权
MaPLe是针对CLIP的多模态提示学习方法，通过联合学习视觉和语言提示，增强两者之间的表示一致性。与仅调整单一分支的提示方法相比，MaPLe在两个分支中学习上下文提示，通过深度提示和跨模态耦合，提高模型的性能。实验证明，这种方法能学到更具区分性的图像嵌入，提升了模型在各种任务上的表现。
摘要由CSDN通过智能技术生成

收录：CVPR2023

代码：https://github.com/muzairkhattak/multimodal-prompt-learning

Abstract

CLIP这类预训练的视语模型对输入文本提示的选择很敏感，需要仔细选择 Prompt 模板，而且使用prompt来仅调整CLIP的(语言或视觉)单个分支中的表示是次优的，因为它们不能灵活地动态调整语言和视觉两个表示空间。因此作者提出了Multi-modal Prompt Learning  (Maple)，用于视觉和语言两个分支，以改善视觉和语言表征之间的一致性。

双分支学习和SOTA效果：

Method

与以前只在文本分支学习上下文提示的方法不同，Maple提出了一种联合提示方法

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LuvMyLife
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
multimodal prompting
weixin_43845649的博客
03-15 1700
论文笔记
【提示学习论文六】MaPLe: Multi-modal Prompt Learning论文原理
weixin_51293984的博客
01-11 2099
这篇文章于2023年发表在CVPR（Conference on Computer Vision and Pattern Recognition），作者是Muhammad Uzair Khattak，Hanoona Rasheed，Muhammad Maaz，Salman Khan，Fahad Shahbaz Khan。研究发现Clip的问题：在单个分支（语言或视觉）中使用prompt来调整表示是次优的，它不能在下游任务上灵活地动态调整两个表示空间。
Domain Prompt Learning for Efficiently Adapting CLIP to Unseen Domains
LuvLive的博客
03-12 712
Domain Prompt Learning for Efficiently Adapting CLIP to Unseen Domains
【prompt六】MaPLe: Multi-modal Prompt Learning
m0_60231311的博客
03-23 1606
最近的CLIP适应方法学习提示作为文本输入，以微调下游任务的CLIP。使用提示来适应CLIP(语言或视觉)的单个分支中的表示是次优的，因为它不允许在下游任务上动态调整两个表示空间的灵活性。在这项工作中，我们提出了针对视觉和语言分支的多模态提示学习(MaPLe)，以改善视觉和语言表征之间的一致性。促进了视觉语言提示之间的强耦合，以确保相互协同，并阻止学习独立的单模态解决方案。此外，在不同的早期阶段学习单独的提示，逐步对阶段特征关系建模，以允许丰富的上下文学习。
java6.0源码-maple-ide:MapleARMCortex-M3开发板的开发环境；从Arduino分叉
06-04
在`maple-ide-master`这个压缩包中，你可以找到Maple IDE 的源码，这将有助于你深入理解其工作原理，包括如何集成编译器、调试器、固件库以及如何实现与Arduino IDE的兼容。通过阅读和分析源码，你不仅可以学习到...
spring-boot-side：:maple_leaf:spring-boot及相关知识练习，Java生态研究学习（spring，redis，ignite，任务，zookeeper，dubbo，mybatis，kafka，rabbitmq，webflux）；前沿新技术的探索，webflux，响应式编程，kontlin等
01-29
java生态探索教程spring-boot-side 项目说明 本实例双重为了学习Spring boot，更是为了利用Spring boot快速上手，学习服务端开发领域各种技术，如：Spring反向，缓存，mq，webflux，mybatis等 配合spring以及用...
Multi-Prompt Alignment for Multi-source Unsupervised Domain Adaptation
LuvLive的博客
04-04 473
Multi-Prompt Alignment for Multi-source Unsupervised Domain Adaptation
探索未来交互新方式：Multimodal Prompt Learning
gitblog_00099的博客
04-18 330
探索未来交互新方式：Multimodal Prompt Learning multimodal-prompt-learning[CVPR 2023] Official repository of paper titled "MaPLe: Multi-modal Prompt Learning". 项目地址:https://gitcode.com/gh_mirrors/mu/multimodal-...
Prompt总结 | 从MLM预训任务到Prompt Learning原理解析与Zero-shot分类、NER简单实践
zenRRan的博客
11-14 1808
每天给你送来NLP技术干货！来自：老刘说NLPPrompt Learning是当前NLP的一个重要话题，已经有许多文章进行论述。从本质上来说，Prompt Learning 可以理解为一种下游任务的重定义方法，将几乎所有的下游任务均统一为预训练语言模型任务，从而避免了预训练模型和下游任务之间存在的 gap。如此一来，几乎所有的下游 NLP 任务均可以使用，不需要训练数据，在小样本数据集的基础上也可...
多模态中的Prompt范式：从CLIP、CoOp到CLIP-adapter
Paper weekly
11-03 8384
©作者 |吉雅太单位|清华大学研究方向|多模态研究CLIP最近 NLP 中第四范式 prompt 比较火，就是不再是生硬地从预训练直接过渡到微调任务，而是用 prompt（提示）...
The Prompt Report 2
baby_hua的专栏
09-05 974
提示工程调查报告《The Prompt Report: A Systematic Survey of Prompting Techniques》
AI人工智能_Prompt提示词工程如何生成API接口文档
yuanlaile的博客
09-02 365
Prompt提示词工程（Prompt Engineering）是一种技术或方法，目的就是通过精心设计和选择提示词（Prompt）来优化和增强大型语言模型（LLMs）的性能和应用效果。
大模型参数高效微调技术原理综述（四）-Prompt Tuning
qq_32907491的博客
09-01 1001
首先我们看一下论文摘要，快速理解论文的核心内容问题与一样，都是以任务为中心的思路解决问题。以任务为中心：它们都在试图解决FFT针对不同的下游任务都需产生一个新的微调后大模型而导致的成本效率问题。解决方案：论文提出的，也是一种使用Soft Prompt(软提示)进行迁移学习的方法。统一不同下游任务的训练数据格式，并将这些不同下游任务的训练数据汇总成一个乱序的数据集，微调预训练模型，最终获得一个能处理不同下游任务的大模型。实验效果在小参数规模的T5上，略差于FFT性能。在中参数规模的T5上，
AI prompt(提示词)
最新发布
weixin_43215013的博客
09-06 297
费曼学习法，用简单的语言解释（量子力学）是什么，并提供一个简单的例子来说明它如何应用
《MaPLe: Multi-modal Prompt Learning》中文校对版
buyaotutou的博客
09-06 378
预训练的视觉语言（V-L）模型，如CLIP，已经显示出对下游任务的出色泛化能力。然而，它们对输入文本提示的选择很敏感，需要仔细选择提示模板才能良好地执行。受自然语言处理（NLP）文献的启发，最近的CLIP适应方法将提示作为文本输入来学习，以微调CLIP用于下游任务。我们注意到，使用提示来适应CLIP（语言或视觉）的单个分支中的表示是次优的，因为它不允许在下游任务上动态调整两个表示空间的灵活性。在这项工作中，我们提出了多模态提示学习（Maple）的视觉和语言分支，以提高视觉和语言表征之间的一致性。
The Prompt Report 1
baby_hua的专栏
09-02 781
Prompt：提示生成式AI模型的输入，用于指导其输出；可能包含文本、图像、声音或其他媒体数据；Prompt Template：提示模版可看做是一个包含一个或多个变量的函数，这些变量将被某些媒体数据（通常都是文本）替换，以创建提示；# 一个应用于推文的二元分类任务，初始提示模版{TWEET}
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值