一、概述
1、是什么
Llava 全称《Visual Instruction Tuning》,是一个多模态视觉-文本大语言模型,可以完成:图像描述、视觉问答、根据图片写代码(HTML、JS、CSS),潜在可以完成单个目标的视觉定位、名画名人等识别(问答、描述)。支持单幅图片输入(可以作为第一个或第二个输入),多轮文本对话。
本文基于CLIP的视觉编码器,以及LLaMa语言解码器,构建了一个大规模的多模态模型(使用最简单的单层FC映射视觉特征到文本长度),并且将该模型在指令视觉-语言数据上进行了微调。
2、亮点
数据方面:是第一个将指令微调扩展到多模态场景的工作,本文利用ChatGPT/GPT-4将原始的image-text pair转化成适当的instruction-following的格式,并构建了一个数据集。
模型方面:大规模的多模态模型,本文基于CLIP的视觉编码器,以及LLaMa语言解码器,增加一个线性映射层映射视觉特征到语言模型的输入。构建了一个大规模的多模态模型,并且将该模型在指令视觉-语言数据上进行了微调。
开源:本文将所构建的多模态指令数据集,用于生成该数据集的代码,以及模型训练的代码,模型checkpoint,以及视觉对话demo都进行了开源。