visual prompt tuning和visual instruction tuning

于 2024-09-17 00:55:36 发布
阅读量181 收藏
点赞数 1
分类专栏： AI名词 文章标签： prompt tuning instruct tuning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67708072/article/details/142304967
版权

visual prompt tuning：作为一种微调手段，其目的是节省参数量，训练时需要优化的参数量小。

输入：视觉信息image token+可学习的prompt token

处理任务：比如常见的分类任务

visual prompt tuning

visual instruction tuning：目的是提高模型的听从指令的能力

一般会使用到指令数据集，指令数据大概是“问题-答案”这样的形式，问模型问题相当于给模型下指令。

输入：视觉信息（图像嵌入）+语言指令（文本嵌入）

处理任务：问模型问题，模型给回答

visual instruction tuning

其他：比如写prompt提示词给GPT，这里的prompt貌似也是指问GPT的问题。 

m0_67708072
关注
专栏目录
LLaVA:visual instruction tuning
liguandong
10-27 2433
主要目标是有效利用预训练的llm和视觉模型的能力，llama作为llm，预训练的clip视觉编码器ViT-L/14，提供Zv，用一个简单的线性层来将图像特征连接到单词embedding空间，用一个可训练的投影矩阵w将Zv转换为语言embedding标记Hq，其维度与语言模型中的单词embedding空间相同。对应于LLaVA的两个训练阶段，LLaVA的训练数据也分为两部分：预训练阶段的数据和微调阶段的数据。llava当时的GPT4还不支持图像输入，因此这样的测评也不完全能够展示GPT4的能力。
Prompt-Tuning——深度解读一种新的微调范式
热门推荐
夏栀的博客
11-19 7万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
Visual Prompt Tuning
qq_46563097的博客
05-16 3654
目前适应预训练模型的操作方法涉及更新所有backbone参数，即fine-tuning。本文介绍了视觉提示调优(Visual Prompt Tuning, VPT)作为一种高效的、有效的替代方案，用于大规模Transformer模型的视觉微调。VPT从最近高效调优大型语言模型的进展中获得灵感，在输入空间中只引入少量(不到模型参数的1%)可训练参数，同时保持模型主干冻结。通过对各种下游识别任务的广泛实验，我们表明，与其他参数高效调优协议相比，VPT实现了显著的性能提升。
Instruction-Tuning 与 Prompt-Tuning
荣山的博客
12-29 841
Instruction-Tuning 与 与 Prompt-Tuning
Prompt Tuning 和instruct tuning
arvinChen的博客
08-25 3407
prompt的思想是，把下游任务的输入转化为预训练模型的原始任务。以bert作为举例，假设任务是文本分类。“今天天气很好。”我们想判断一下这句话的情感是正面还是负面fine-tune的方法是在bert之后接一个head，然后调整整个模型。prompt 的方法是把下游任务转化为预训练任务，我们知道bert的预训练任务是MLM，于是把“今天天气很好。”转化为“今天天气很好。我很[mask][mask]”，我们希望bert预测出"开心"两个字。然后对“开心”映射到正面情感。
Prompt-Tuning、Instruction-Tuning、prefix tuning的区别；Instruction-Tuning（指令调优），和Prefix-Tuning（前缀调优）相关的例子
人工智能曾小健
06-21 7190
如果模型生成了错误的结果，则给予负向奖励。通过 Prefix-Tuning 技术，你可以在模型输入的开头添加一个特定的前缀，来指导对话生成的内容。Prefix-Tuning（前缀调优）：Prefix-Tuning 是一种通过在模型输入中添加特定的前缀，来引导模型生成特定类型的输出。总结来说，Prompt-Tuning 是通过提示来引导模型生成相关内容，Instruction-Tuning 是通过指令来训练模型执行特定任务，而 Prefix-Tuning 是通过在输入中添加前缀来控制生成结果的格式和结构。
Prompt Tuning 和 Delta Tuning 针对预训练语言模型进行微调
u013558123的博客
02-03 1076
Prompt Tuning 和 Delta Tuning 是两种针对预训练语言模型进行微调的方法
LLaVA: Visual Instruction Tuning
weixin_44966641的博客
02-27 1898
2023 年上半年，从 GPT4 接口机造训练数据来训练自己的 LLM 已成为基本操作。而在没有 GPT4V 的时代，多模态的 instruction following 数据构造却一直是个难题。LLaVA 提出了一种结合图像的各种标注信息，使用 text-only 的 GPT4 来机造多模态 instruction following 数据的方法，并首次使用多模态的 instruction following 数据训练出了 LMM。
大语言模型三种训练技术：Prompt-Tuning、Instruction-Tuning、Chain-of-Thought
u013250861的博客
05-11 1669
一切还是从BERT（BERT模型卡信息：「链接」）说起，当年Google提出BERT模型的时候，一个最大的贡献是使用了Masked Language Model（MLM），即随机掩盖输入序列的一个token，然后利用相邻的tokens预测这个token是什么，这样模型可以学会更好地理解上下文。BERT这种训练方式让模型在文本生成方面有很强的能力，因此，大家发现有时候不一定需要做fine-tuning即可让模型帮我们解决感兴趣的任务。
[算法前沿]--008- AIGC和LLM下的Prompt Tuning微调范式
学-> 思->用
04-24 1099
回顾第一节我们介绍的几个预训练语言模型，我们发现目前绝大多数的双向预训练语言模型都包含Masked Language Modeling（MLM），单向预训练语言模型都包含Autoregressive Language Modeling（ALM），这些任务是预训练目标，本质上是预测被mask的位置的词，在训练时让模型理解语言的上下文信息。例如在word2vec的CBOW方法中，随机选取一个固定长度的词袋区间，然后挖掉中心部分的词后，让模型（一个简单的深度神经网络）预测该位置的词。
LLM - 大语言模型的指令微调(Instruction Tuning) 概述
Mystra
03-25 2214
大语言模型的指令微调(Instruction Tuning)是一种优化技术，通过在特定的数据集上进一步训练大型语言模型(LLMs)，使其能够更好地理解和遵循人类的指令。这个数据集通常由一系列的指令和相应的期望输出组成。指令微调的目的是提高模型的能力和可控性，使其在执行任务时能够更准确地响应用户的需求。
_Command_line_settings_desktop_wallpaper_tool,_Su_command-wallpa
09-17
_Command_line_settings_desktop_wallpaper_tool,_Su_command-wallpaper
IMG_20240917_151703.jpg
09-17
IMG_20240917_151703.jpg
吉他谱_Pneuma - Tool.pdf
09-17
初级入门吉他谱 guitar tab
Java项目-基于SSM+Jsp的计算机网络课程试卷生成器系统的设计与实现（源码+数据库脚本+部署视频+代码讲解视频+全套软件）
09-17
【基于SSM+Jsp的计算机网络课程试卷生成器系统的设计与实现】高分通过项目，已获导师指导。 本项目是一套基于SSM+Jsp的计算机网络课程试卷生成器系统，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的Java学习者。也可作为课程设计、期末大作业 包含：项目源码、数据库脚本、开发说明文档、部署视频、代码讲解视频、全套软件等，该项目可以直接作为毕设使用。 项目都经过严格调试，确保可以运行！
基于JavaSE实现磁盘小助手系统（源码&实验报告）
09-17
实验内容： 根据所学的File类，结合循环，分支判断等知识，采用Idea开发工具开发一个磁盘文件小助手的案例，具体功能要求如下： 1.作品要立意新颖、主题鲜明，鼓励原创，避免雷同，有独特的创造力和较强的吸引力。 2.内容健康、代码规范，整个系统的风格要统一，结构要合理。 3.作品要求是一个可以运行的控制台小程序 4.作品中要充分利用File,String常用方法，判断，循环等技术来实现自己的作品 5.内容要求： 1)使用Idea创建基本项目结构，实现磁盘文件小助手软件； 2)实现获取本地磁盘所有磁盘目录的方法； 3)要有一个控制台的界面，界面信息循环展示，输出0退出系统 1.实现文件路径回退一步 2.进入到目录内部 3.创建一个文件功能 4.实现删除文件功能 5.展示该目录下的所有文件或文件夹功能 6.展示本电脑下的所有的java文件 7.创建文件夹功能 8.移除文件夹下所有文件及目录的功能 9.显示本机电脑所有磁盘的信息 0.退出系统功能 4)要求用户输入相应的数字实现相应的操作功能； 5)要求输入0的时候，实现退出系统功能； 6)要求操作的文件路径需要从键盘动态获取； 7)需要
吉他谱_Star Spangled Banner - Metallica.pdf
09-17
初级入门吉他谱 guitar tab
c1900-universalk9-mz.SPA.151-3.T1.bin
最新发布
09-17
c1900-universalk9-mz.SPA.151-3.T1.bin
Prompt / Instruction Tuning
04-03
As an AI language model, I am not sure what you mean by "Prompt/Instruction Tuning." Can you please provide more context or details so I can better understand and assist you?
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值