Adapter Tuning Overview：在CV，NLP，多模态领域的代表性工作

已于 2023-10-15 16:23:29 修改
阅读量572 收藏
点赞数
分类专栏： 多模态大模型 文章标签： 论文阅读 AIGC 计算机视觉 人工智能
于 2023-08-27 14:16:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pku_langzi/article/details/132523164
版权
这篇博客概述了Adapter Tuning在计算机视觉、自然语言处理和多模态领域的应用。从牛津VGG组的视觉域学习到谷歌在NLP的参数高效迁移学习，再到2023年谷歌提出的StyleDrop技术，展示了Adapter Tuning的广泛影响力。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
猴猴猪猪
关注
专栏目录
订阅专栏
多模态大模型综述: LLaVA, MiniGPT4
pku_langzi的博客
06-17 5709
题目: Visual Instruction Tuning机构：微软论文:任务: 视觉指令微调（具备对话，推理的能力，rather than 图像描述）特点: 利用GPT4做数据生成，以及评测，视觉projection不想BLIP2一样是Q-Former，而是一个简单的映射层方法: LLM选择LLaMA，然后做视觉指令微调前置相关工作：GPT4, LLaMA, BLIP2, OpenFlamingo同期相似性工作：InstructBLIP。
KoGPT2-FineTuning：:fire:韩国GPT-2，带KoGPT2 FineTuning。 가가사데이터
02-03
KoGPT2-FineTuning SKT-AI提供了20GB的免费培训，还提供了的培训。 数据，重量，数据，重量，质量，数据，数据和数据的质量。 。가장르별학습다。 또 한 Colab 에 서 는 원 활 한 학 습 을 위 해 서谷歌驱动와 을 연 동 했 습 니 다 。 Google云端硬盘Dropbbox的照片，Google云端硬盘的照片。 이와 版本2，数据集，CSV，数据集，版本2，代码集KoGPT2-FineTuning， ，。 아래에서를를를。있습니있습니있습니있습니。 。리는이외에도다양한젝트를로것입니것입니다。 样品 数据结构 重量 类型 歌词 1100.0 발라
8种结构型模式 之2 ADAPTER 适配器模式
wentao365的专栏
12-01 80
适配器模式 是一种“补偿”模式，通常用来解决接口不相容的问题。分成 类适配器模式 和 对象适配器模式 2种 。 [img]http://dl.iteye.com/upload/attachment/598329/94f0abea-7a6a-3c64-800a-9da4f91c297d.png[/img] [b]1：类适配器模式[/b] [img]http://dl.iteye.c...
深度学习：探索大模型微调策略——Adapter, Prefix, Prompt & LoRA调优解析
lazycatlove的博客
07-07 1088
2022年11月30日，ChatGPT发布至今，国内外不断涌现出了不少大模型，呈现“百模大战”的景象，比如ChatGLM-6B、LLAMA、Alpaca等模型及在此模型基础上进一步开发的特定领域的大模型。今年3月15日，GPT-4发布后，也出现了一些多模态的大模型，比如百度的文心一言、讯飞星火认知大模型等等。
大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）
热门推荐
weixin_39663060的博客
05-19 1万+
大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）
上海人工智能实验室发布LLaMA-Adapter | 如何1小时训练你的多模态大模型用于下游任务
专注计算机视觉全栈知识分享
05-20 1566
本文首发于微信公众号 CVHub，未经授权不得以任何形式售卖或私自转载到其它平台，违者必究！
多模态大模型总结2（主要2023年）
yzy的博客
11-28 1080
对2023年主流视觉-语言多模态大模型进行总结
多模态中的Prompt范式：从CLIP、CoOp到CLIP-adapter
Paper weekly
11-03 8487
©作者 |吉雅太单位|清华大学研究方向|多模态研究CLIP最近 NLP 中第四范式 prompt 比较火，就是不再是生硬地从预训练直接过渡到微调任务，而是用 prompt（提示）...
LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
丨汀、的博客
04-30 347
LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
多模态大模型升级：LLaVA→LLaVA-1.5，MiniGPT4→MiniGPT5
pku_langzi的博客
10-15 1577
LLaVA, MiniGPT4的改进版本：LLaVA-1.5, MiniGPT5。
多模态大模型：关于分辨率那些事儿
pku_langzi的博客
12-09 535
介绍几篇多模态大模型领域在分辨率提升方面所做的改进
Adapter-适配预训练持续学习的一种技术
爱吃火锅的博客
02-11 2029
前言 长期做预训练的小伙伴，可以关注一下这个技术点即adapter，最近关于这方面的工作还挺多的，其是这样一个背景：在不遗忘以前学到知识前提下，怎么向大模型中持续性注入知识。 今天就给大家带来两篇最新的相关工作，开拓一下思路～，感兴趣的小伙伴可以去查更多相关的paper。 当然了该想法也不是特别新鲜，之前已经有很多类似的想法工作了，所以大家在看的时候一方面是学习一下其设计的思路，另一方面更重要的是学习其要解决什么问题以及可以思考的大方向，总之不要被目前的adapter研究束缚了，正如笔者在文末也给出了
【论文阅读】PERCEIVER-ACTOR: A Multi-Task Transformer for Robotic Manipulation
qq_33673253的博客
09-16 824
transformers凭借其对大型数据集的扩展能力，彻底改变了视觉和自然语言处理。但在机器人操作中，数据既有限又昂贵。通过正确的问题表述，操纵仍然可以从变形金刚中受益吗？我们使用peract来研究这个问题，peract是一种用于的。peract使用感知器transformer[1]对语言目标和rgb-d体素观测值进行编码，并通过“。与在2d图像上操作的框架不同，体素化的3d观察和动作空间为有效学习6-dof动作。
论文阅读-Demystifying Misconceptions in Social Bots Research
最新发布
qq_40671063的博客
09-16 516
对社交机器人的研究旨在增进知识，并为最受争议的网络操纵形式之一提供解决方案.然而，社会机器人的研究却受到普遍偏见、夸大结果(hyped results)和误解的困扰（plague），这些都为模棱两可、不切实际(unrealistic)的期望和看似不可调和的结果埋下了伏笔。克服这些问题有助于(instrumental)确保可靠的解决方案并重申科学方法的有效性.在这篇文章中，我们回顾了社交机器人研究的一些最新成果，强调并修正了事实错误以及方法和概念偏差。
Weakly-Supervised Video Moment Retrieval via Semantic Completion Network 论文阅读
weixin_44609958的博客
09-11 1380
视频片段检索旨在根据给定的自然语言查询搜索与之最相关的片段。现有方法大多在全监督设置下进行训练，这需要为每个查询手动标注其对应的时间边界。然而，手动标注这些时间边界实际上既费时又昂贵。在本文中，我们提出了一种新颖的弱监督片段检索框架，仅需要粗略的、视频级别的标注用于训练。具体而言，我们设计了一个提案生成模块，该模块聚合上下文信息，一次性生成并评分所有候选提案。然后，我们设计了一种结合利用与探索的算法，选择前K个提案。
GPT-4论文阅读
weixin_52185313的博客
09-11 1340
本篇虽然是GPT-4的技术报告，但其中没有提到GPT-4的具体模型架构与训练过程，主要就是讲他的结果。GPT-4是一个多模态的模型，能够接受文本或者是图片的输入，最后输出纯文本GPT-4基本能够达到类人的表现，在事实性、可控性和安全性上有了很大的进步GPT-4在真实世界中与人还是存在差距，但是在很多具有专业性或者学术性的数据集或者任务上面上，GPT-4有时候能够达到甚至超过人类的水平。
论文阅读：RGBD GS-ICP SLAM
qq_53589322的博客
09-11 1173
文章提出了RGBD GS-ICP-SLAM，这是一种利用三维高斯表示进行高保真度空间表示的密集表示SLAM系统。作者证明了利用单一三维高斯地图进行跟踪和建图的G-ICP和3DGS的融合可以产生相互的好处。跟踪和建图过程之间的高斯交换与尺度对齐最小化了冗余计算并构建了一个高效的系统。此外，动态关键帧选择方法提高了跟踪和建图性能。通过广泛的实验，所提出的方法在空间表示、相机位姿估计和总系统速度方面呈现出最先进的性能。
论文笔记：基于LLM和多轮学习的漫画零样本角色识别与说话人预测
zly_Always_be的博客
09-12 1288
论文笔记：基于LLM和多轮学习的漫画零样本角色识别与说话人预测
adapter tuning
09-24
适配器调优是指对适配器进行性能优化和配置调整的过程。适配器是将不兼容的系统、技术或协议转换为可兼容的形式，以促进不同系统间的数据和通信交互。适配器调优的目的是提高适配器的性能和效率，确保其正常运行并满足系统需求。 适配器调优的关键步骤包括以下几个方面： 1. 资源分配：适配器通常需要占用一定的系统资源，如内存、CPU等。通过合理分配和配置这些资源，可以优化适配器的性能。例如，可以调整适配器的内存分配大小，使其能够处理更多的数据。 2. 缓存调整：适配器通常使用缓存存储数据，以提高数据读写的速度。优化缓存的大小和算法可以提高适配器的性能。根据实际需求，可以调整缓存的大小和数据存储方式，以达到最佳效果。 3. 网络配置：适配器可能需要通过网络进行通信。合理配置网络参数，如带宽、延迟等，可以优化适配器的通信性能。例如，可以根据网络状况调整适配器的传输速率，以避免传输延迟或丢包。 4. 安全设置：适配器需要确保数据的安全传输。适当配置安全设置，如加密、身份验证等，可以保护数据的机密性和完整性，提高适配器的安全性和性能。 5. 日志记录：适配器的日志记录可以帮助诊断和排查问题，提高适配器的调试和性能优化效率。合理配置日志记录级别和位置，可以方便地查看和分析适配器的日志信息。 总之，适配器调优是一个综合的过程，需要根据实际情况进行定制和调整。通过合理配置适配器的资源、缓存、网络和安全设置，可以提高适配器的性能和安全性，满足系统的需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猴猴猪猪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值