【LLM多模态】综述Visual Instruction Tuning towards General-Purpose Multimodal Model

已于 2024-06-02 13:06:59 修改
阅读量1k 收藏 25
点赞数 15
分类专栏： # LLM大模型 # 多模态大模型 文章标签： 多模态 大模型 综述 LLM
于 2024-05-26 14:36:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35812205/article/details/139200354
版权

note

文章目录

论文

在这里插入图片描述
新加坡-南洋理工大学发的paper，2023年12月
我们还是从十大问题分析这篇论文，但由于是综述，可能没有实验环节详细的部分。

1. 论文试图解决什么问题

  • 一篇关于Visual Instruction Tuning 视觉指令微调任务的综述，Visual Instruction Tuning是为了让多模态LLM拥有指令遵循能力
  • 文章介绍传统CV局限性（需要针对不同任务训练不同模型，缺乏交互能力），如下图左侧

在这里插入图片描述

  • 文章从三方面介绍Visual Instruction Tuning的发展过程：单语言（英语）到多语言、图片输入从单一到多元（从图片到视频/3D图像等）、任务复杂化（从基本的图片分类到VQA视觉问答、图像生成等难任务）

在这里插入图片描述

2. 这是否是一个新的问题

去年年底到今年，类似的综述还是不少的。

3. 这篇文章要验证一个什么科学假设

4. 有哪些相关研究？如何归类？谁是这一课题在领域内值得关注的研究员？

相关的视觉微调 公开数据集如下，大部分是GPT3.5或者GPT4构造的，而且多轮对话的visual SFT数据还不少：
在这里插入图片描述

5. 论文中提到的解决方案之关键是什么？

在这里插入图片描述
跟进一步，视觉微调的主流过程，基于预训练的LLM，将视觉特征token化冰对齐到语言空间中，利用语言模型得到多模态LLM的输出：
在这里插入图片描述

6. 论文中的实验是如何设计的？

是综述，没实验。

7. 用于定量评估的数据集是什么？代码有没有开源？

用于多模态视觉微调的评估数据集：

  • VQAv2：Visual Question Answering（视觉问答）数据集，广泛用于评估模型在理解图像内容并回答问题方面的能力。
  • GQA：Graphic Question Answering数据集，包含复杂的视觉问答任务，测试模型的视觉推理能力。
  • OKVQA：Open-ended Knowledge Visual Question Answering数据集，需要外部知识来回答视觉问题，评估模型结合视觉和知识推理的能力。
  • OCR-VQA：Optical Character Recognition Visual Question Answering数据集，测试模型在图像中识别和理解文本的能力。
  • A-OKVQA：Augmented OKVQA数据集，扩展了OKVQA，包含更多样的问答对，测试模型在多种情境下的知识推理能力。
  • MSCOCO：Microsoft Common Objects in Context数据集，包含丰富的图像标注信息，广泛用于图像识别和分割任务。
  • TextCaps：数据集专注于图像字幕生成，测试模型在理解图像内容并生成自然语言描述方面的能力。
  • RefCOCO、RefCOCO+、RefCOCOg：ReferIt Game数据集的变体，用于评估模型在图像中定位指定对象的能力。
  • Visual Genome：包含图像、区域标注和关系描述的数据集，广泛用于视觉问答和图像理解任务。
  • Flickr30K：包含丰富的图像及其描述的数据集，用于评估图像字幕生成和图像理解。
  • VizWiz：数据集包含盲人用户拍摄的图像和相关问题，用于评估模型在处理实际场景和用户生成内容方面的能力。
  • ScienceQA：针对科学领域的问答数据集，测试模型在结合视觉和科学知识回答问题方面的能力。

8. 论文中的实验及结果有没有很好地支持需要验证的科学假设？

略，综述没实验。

9. 这篇论文到底有什么贡献？

这篇综述对Visual Instruction Tuning进行了任务分类：

（1）Discriminative判别式任务：
在这里插入图片描述

  • 图像分类（Image Classification）：利用可学习的[CLS]token表示全局图像特征，计算[CLS] token和提示tokens之间的相似性，如下图
    在这里插入图片描述

  • 语义分割（Image Segmentation）：常规的语义分割是像素级别的分类任务，LISA模型是根据复杂的query生成分割掩码，理解query并在图像中找到对应的区域（比如找到下面的维C最多的食物并标记），所以这里模型最终生成一张图。
    在这里插入图片描述

  • 目标检测（Object Detection）：下图是visionLLM的做法，提出一个指令感知图像分词器（Instruction-Aware Image Tokenizer）有效理解和解析视觉输入，总之是让LLM最终回答出query指向目标的上下左右坐标。VisionLLM 在 COCO 数据集上的目标检测任务中实现了超过 60% 的平均精度（mAP），这与特定于检测的模型相当。

在这里插入图片描述

  • 视觉定位（Visual Grounding）

（2）生成式任务：

  • 图像生成
  • 图像编辑

（3）复杂推理任务：

  • Image Captioning：图像描述，可以用如MiniGPT-4、Clever Flamingo等模型
  • Visual Question Answering：即VQA视觉问答，可以用如MiniGPT-v2、instructBLIP等模型
  • Visual Assistant：视觉助手，可以用如LLaVA、Qwen-VL（多任务预训练数据很好）等模型

在这里插入图片描述

（4）视频学习的微调：视频理解、视频生成、视频字幕生成等
在这里插入图片描述
如video-chatgpt模型（如下），视频具有时序特性，Video-ChatGPT使用预训练的视频编码器将视频分割成多个帧，并提取每一帧的视觉特征。这些视觉特征再经过时序编码，生成包含时序信息的特征向量。用户可以对视频进行提问：
在这里插入图片描述

（5）文档学习的视觉微调：
在这里插入图片描述
如mPLUG-DocOwl模型：
在这里插入图片描述

（6）3D Vision Learning的视觉微调：包括depth estimation, 3D reconstruction（3D重建）, object recognition, and scene comprehension（场景理解）等具体任务。

10. 下一步呢？有什么工作可以持续深入？

  • 增强模型在视觉和语言之间的对齐能力
  • 动态场景理解：比如视频、实时流媒体的多模态输入
  • 用于帮助艺术家、设计师进行图像、视频编辑；用于教育领域等

备注：大模型的训练少不了算力资源，博主和一些平台有合作~
高性价比4090算力租用，注册就送20元代金券，更有内容激励活动，点击。
GPU云服务器租用，P40、4090、V100S多种显卡可选，点击。

Reference

[1] Visual Instruction Tuning towards General-Purpose Multimodal Model: A Survey

LLaVA:visual instruction tuning
liguandong
10-27 2829
主要目标是有效利用预训练的llm和视觉模型的能力，llama作为llm，预训练的clip视觉编码器ViT-L/14，提供Zv，用一个简单的线性层来将图像特征连接到单词embedding空间，用一个可训练的投影矩阵w将Zv转换为语言embedding标记Hq，其维度与语言模型中的单词embedding空间相同。对应于LLaVA的两个训练阶段，LLaVA的训练数据也分为两部分：预训练阶段的数据和微调阶段的数据。llava当时的GPT4还不支持图像输入，因此这样的测评也不完全能够展示GPT4的能力。
【ACL 2024】Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and Language Models
zik的博客
07-30 1981
Authors【Paper】【Project】由大型语言模型 (LLM) 推动的对话代理正在提供一种与视觉数据交互的新方式。虽然已经对基于图像的对话模型进行了初步尝试，但这项工作通过引入 Video-ChatGPT 解决了 \emph{基于视频的对话} 尚未开发的领域。它是一种多模态模型，将视频自适应视觉编码器与大语言模型相结合。生成的模型能够理解并生成有关视频的详细对话。数据集，定量评估框架。
LLaVA: Visual Instruction Tuning
weixin_44966641的博客
02-27 2651
2023 年上半年，从 GPT4 接口机造训练数据来训练自己的 LLM 已成为基本操作。而在没有 GPT4V 的时代，多模态的 instruction following 数据构造却一直是个难题。LLaVA 提出了一种结合图像的各种标注信息，使用 text-only 的 GPT4 来机造多模态 instruction following 数据的方法，并首次使用多模态的 instruction following 数据训练出了 LMM。
Visual Instruction Tuning——视觉指令调优
Together_CZ的博客
12-07 849
Visual Instruction Tuning——视觉指令调优
Visual Instruction Tuning----视觉指令调整
Mars_prime的博客
01-15 1405
使用机器生成的指令跟踪数据进行指令调优大型语言模型 (LLM) 已被证明可以提高新任务的零样本能力，但这一想法在多模态领域的探索较少。我们首次尝试使用纯语言 GPT-4 来生成多模态语言图像指令跟踪数据。通过对此类生成数据进行指令调整，我们推出了 LLaVA：大型语言和视觉助手，这是一种端到端训练的大型多模态模型，连接视觉编码器和 LLM 以实现通用视觉和语言理解。为了促进未来视觉指令跟随的研究，我们构建了两个具有多样化且具有挑战性的面向应用的任务的评估基准。
Visual Instruction Tuning 教程
gitblog_00701的博客
09-03 357
Visual Instruction Tuning 教程 Visual-Instruction-TuningSVIT: Scaling up Visual Instruction Tuning项目地址:https://gitcode.com/gh_mirrors/vi/Visual-Instruction-Tuning 本教程旨在指导您如何高效地探索和应用Visual Instruction T...
多模态大模型（Multimodal Large Language Model，MLLM） 总结
lllllli_的博客
08-14 1144
延续BLIP-2的Q - Former, 在Q - Former中添加了Instruct, 从而使得Q - Former能完成Instruction-aware Visual Feature Extraction, 从而将Visual Feature从静态的变为动态的, 能够做到instruction following，其余细节基本一致。lock 的主干上串行的加入一个用 Cross Attention 增强文本表示的模块，从而让文本表示中能融入视觉信息。LLaVA 1.5 是 LLaVA 的改进版本。
分享丨万字长文总结多模态大模型最新进展（Modality Bridging篇）
2401_85377976的博客
08-06 1229
因为该层专注于整合 [CLS] 特征以用于对比学习。MLP adapter：a two-layer SwiGLU MLP，用于将ViT的输出映射到与文本特征相同的空间。所有的图像特征在语言模型中共享相同的「位置编码 id」。Visual expert module：在 LLM 的每一层中引入可训练的 visual expert，其包含专门处理 image feature 的「QKV 矩阵」和「MLP 层」，以实现深度的视觉-语言特征对齐。
参数高效微调：让多模态大语言模型更强大
步子哥的博客
06-10 733
近年来，多模态大语言模型（MLLMs）的出现彻底改变了多模态学习的格局。这些模型，例如LLaVA、MiniGPT4和GPT4-Vision，在各种多模态任务中展现出令人惊叹的能力。然而，由于MLLMs通常包含数十亿个参数，对所有参数进行微调变得非常具有挑战性。为了解决这个问题，本文研究了针对MLLMs的参数高效微调（PEFT）方法。我们的目标是在仅训练少量参数的情况下，找到提高MLLMs性能的有效方法。
多模态大模型入门指南（非常详细）零基础入门到精通，收藏这一篇就够了
Hacker_doggy的博客
07-17 3266
如表1所示，对26 SOTA MM-LLMs的架构和训练数据集规模进行了全面比较。随后，简要介绍这些模型的核心贡献并总结了它们的发展趋势。代表了一系列视觉语言 (VL) 模型，旨在处理交错的视觉数据和文本，生成自由格式的文本作为输出。(2)BLIP-2引入了一个资源效率更高的框架，包括用于弥补模态差距的轻量级 Q-Former ，实现对冻结 LLMs 的充分利用。利用 LLMs，BLIP-2 可以使用自然语言提示进行零样本图像到文本的生成。(3)LLaVA。
Paper 0 | Visual Instruction Tuning
weixin_53116058的博客
09-24 650
【解决WHY 2】
Visual Instruction Tuning: 用LLaVA近似多模态GPT-4
Paper weekly
04-19 2871
©Paperweekly 原创 · 作者 |Chunyuan Li使用 GPT-4 进行视觉指令学习！Visual Instruction Tuning with GPT-4!▲Generated by GLIGEN (https://gligen.github.io/): A cute lava llama and glasses我们分享了 LLaVA (Language-and-Visio...
【AI论文】Visual Instruction Tuning
最新发布
alovelypeach的博客
02-11 1120
作者的目标是通过多模态指令微调(Visual Instruction Tuning)来训练一个通用的视觉助手，使其能够理解用户的语言指令并与视觉内容结合完成任务。例如，用户可以上传图片并提出问题，模型根据图片内容作出回答。现有的多模态指令执行模型大致可以分为以下两类：端到端训练的模型基于系统协调多个模型核心： 将图像的描述和边框输入给GPT，让GPT生成指令（对话、详细描述、推理性）。多模态数据的现状:解决方案:利用现有的图片-文本对： 问题: 此类简单扩展数据虽然成本低，但缺乏多样性和深度推理。
【多模态】28、LLaVA 第一版 | Visual Instruction Tuning 多模态模型的指令微调
呆呆的猫的博客
02-29 5225
本文主要介绍 LLaVA 第一版模型
NIPS2024论文《Visual instruction tuning》LLaVA视觉大模型技术介绍
qq_37261357的博客
04-03 2430
现在的大型语言模型（LLM）在语言对话与问答等任务中表现出优秀的性能。但是，对于多模态的输入（例如一张图片以及一个关于这张图片的问题），大型语言模型就难以应对，尤其是考察其推理能力时。
【多模态大模型paper阅读笔记-5】LLaVA：Visual Instruction Tuning，5千字精读，最适合入门多模态大模型的工作
Mugi_jiang的博客
07-24 1668
LLaVA（视觉指令微调）论文精读
多模态大模型综述: LLaVA, MiniGPT4
pku_langzi的博客
06-17 6441
题目: Visual Instruction Tuning机构：微软论文:任务: 视觉指令微调（具备对话，推理的能力，rather than 图像描述）特点: 利用GPT4做数据生成，以及评测，视觉projection不想BLIP2一样是Q-Former，而是一个简单的映射层方法: LLM选择LLaMA，然后做视觉指令微调前置相关工作：GPT4, LLaMA, BLIP2, OpenFlamingo同期相似性工作：InstructBLIP。
每日学术速递4.19
与君共勉，一起学习
04-20 794
我们的 RT-DETR-L 在 COCO val2017 上实现了 53.0% 的 AP，在 T4 GPU 上实现了 114 FPS，而 RT-DETR-X 实现了 54.8% 的 AP 和 74 FPS，在速度和精度上都优于所有相同规模的 YOLO 检测器。我们的早期实验表明，LLaVA展示了令人印象深刻的多模型聊天能力，有时在看不见的图像/指令上表现出多模态 GPT-4 的行为，并且与合成多模态指令跟随数据集上的 GPT-4 相比，产生了 85.1% 的相对分数。标题：可视化指令调优。
万字长文总结多模态大模型最新进展（Modality Bridging篇）
数据派THU
04-28 1503
本文大约17000字，建议阅读20分钟本文介绍了多模态大规模的最新进展。‍多模态大型语言模型（MLLM）最近已成为一个新兴的研究热点，它将强大的大型语言模型（LLMs）作为大脑来执行多模态任务。MLLM 的惊人新能力，如基于图像撰写故事和无 OCR 的数学推理，在传统方法中很少见，这表明了通向通用人工智能的潜在路径。通常人们会在 pair 数据上进行大规模（相对于 instruction tuni...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

山顶夕景

小哥哥给我买个零食可好

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值