什么玩意是多模态语言图像指令遵循数据

多模态大语言模型 LlaVA 论文解读：Visual Instruction Tuning

https://github.com/haotian-liu/LLaVA

总览

在这篇论文中，

作者首次尝试使用纯语言 GPT-4 生成多模态、语言图像、指令遵循数据（insruction-following data）。

通过对此类生成数据进行指令调整，

推出了大型语言和视觉助手（Large Language and Vision Assistant，LLaVA）。

一种端到端训练的大型多模态模型，连接视觉编码器和 LLM 以实现通用视觉和语言理解。

---

“此类生成数据”指的是通过纯语言模型 GPT-4 生成的多模态、语言图像、指令遵循数据（instruction-following data）。

这类数据包含了与指令相关的视觉和语言信息，可以被用来训练模型理解并执行基于视觉和语言的复杂任务。

具体来说，这些数据可能包括了图像以及与图像相关联的自然语言描述、问题或指令。

例如，一张图片可能展示了一个场景，而与之配对的文本可能是对该场景的描述、询问有关场景的问题或者给出一个基于该场景需要完成的任务指令。

这种数据集有助于训练像 LLaVA 这样的多模态模型，使其能够理解和处理视觉与语言相结合的信息。

通过指令调整（instruction tuning），即微调或进一步训练模型以更好地遵循指令，

LLaVA 能够学习如何解析和执行这些指令，从而成为一个更强大的视觉和语言理解助手。

---

多模态语言图像指令遵循数据（multimodal language-image instruction-following data）通常

包含了一张或多张图像

以及与这些图像相关的自然语言指令。

---

这种类型的数据

旨在

让模型学会

如何根据图像的内容

来理解和执行特定的指令。

---

以下是几个具体的例子来帮助解释这一概念：

例一：图像描述

指令：“描述这张图片中的场景。”

图像：一张公园的照片，里面有一个小孩在追逐一只蝴蝶，周围有树和花。

期望输出：“这张照片描绘了一个阳光明媚的日子，在一个美丽的公园里，一个小男孩正在草地上追逐一只彩色的蝴蝶，周围环绕着绿树和盛开的花朵。”

例二：图像问答

指令：“告诉我图中的动物是什么。”

图像：一张狮子在草原上的照片。

期望输出：“图中的动物是一只狮子。”

例三：基于图像的导航

指令：“从这张图片开始，告诉我如何到达洗手间。”

图像：一张商场内部的图片，显示了商店、电梯和楼梯的位置。

期望输出：“从你所在的位置，向左走直到你看到电梯，然后乘坐电梯下一层，洗手间就在电梯旁边的走廊尽头。”

例四：图像编辑指示

指令：“请将这张图片中的天空变成夜晚的样子。”

图像：一张白天的城市天际线照片。

期望输出：修改后的图片，其中城市的天空部分变为深蓝色，星星和月亮可见。

例五：基于图像的烹饪指导

指令：“根据这张图片列出制作这道菜所需的材料。”

图像：一张意大利面的图片，上面有番茄酱、奶酪和香料。

期望输出：“制作这道菜你需要：意大利面、番茄酱、帕尔马干酪、罗勒叶、橄榄油和大蒜。”

这些例子展示了如何结合视觉信息和语言指令来创建多模态数据，这对于训练能够理解并执行基于图像指令的模型至关重要。