英伟达推出视觉语言模型:VILA

NVIDIA和MIT的研究人员推出了一种新的视觉语言模型(VLM)预训练框架，名为VILA。这个框架旨在通过有效的嵌入对齐和动态神经网络架构，改进语言模型的视觉和文本的学习能力。VILA通过在大规模数据集如Coy0-700m上进行预训练，采用基于LLaVA模型的不同预训练策略进行测试。研究人员还引入了视觉指令调整方法，利用视觉语言数据集进行基于提示的指令调整来细化模型。VILA在视觉问答基准测试中展示了显著的性能提升，例如在0KVQA和TextVQA测试中分别达到了70.7%和78.2%的准确率，同时保留了高达90%的先前学习知识，显著减少了灾难性遗忘的发生。

主要发现

1.情境学习与泛化能力：VILA通过预训练不仅提升了情境学习能力，即模型对新情境的适应性和学习能力，而且还优化了其泛化能力，使模型能在不同的视觉语言任务上展现出色的性能。2.指令微调的效果：指令微调阶段，通过将文本指令重新混合到图像-文本数据中，VLA能够修复在处理纯文本任务上的性能退化，同时提升视觉语言任务的准确率。3.视觉问答任务上的表现：VILA模型在视觉问答(VQA)和文本视觉问答(TextVQA)等任务上表现出色，这表明其预训练和微调策略有效地提升了模型的跨模态理解能力。4.减少灾难性遗忘：VILA成功地减少了在学习新任务时对旧知识的遗忘，这是通过动态调整网络结构和在训练中采用特定策略实现的。

VILA模型主要功能

多图像推：VILA模型可以处理并理解多个图像之间的关系，执行复杂的图像间推理任务。这使得模型能够识别和解释多个视觉输入中的模式和联系，如确定图像集中出现的共同对象或主题。