每日论文推荐：LLaVA-Gemma基于Gemma的多模态基础模型

最新推荐文章于 2024-10-31 17:05:07 发布

linxid

最新推荐文章于 2024-10-31 17:05:07 发布

阅读量590

点赞数 3

文章标签：人工智能深度学习机器学习

本文链接：https://blog.csdn.net/linxid/article/details/138059430

版权

标题：“LLaVA-Gemma: Accelerating Multimodal Foundation Models with a Compact Language Model”
作者：Musashi Hinck, Matthew L. Olson, David Cobbley, Shao-Yen Tseng, Vasudev Lal；来自Intel Labs的Cognitive AI团队。
链接：arXiv:2404.01331 https://arxiv.org/pdf/2404.01331.pdf
标签：#MultimodalFoundationModels #LLaVA #Gemma #LanguageModel #VisionEncoder

主张：本文介绍了LLaVA-Gemma，这是一系列基于Gemma大型语言模型（LLMs）的多模态基础模型（MMFM），旨在探索小型多模态模型的计算效率与视觉和语言理解的丰富性之间的权衡。
亮点：研究团队特别关注了2B参数的Gemma模型，并测试了省略预训练连接器、使用更强大的图像背骨和增加语言背骨大小等设计特征的影响。
核心贡献：提出了LLaVA-Gemma模型，这是一个高效的多模态交互模型，同时提供了对不同设计选择影响的深入分析，并公开了模型的训练配方、代码和权重。
Motivation：鉴于大型多模态模型（LMMs）在视觉-语言任务中的显著性能，以及它们的计算需求促使研究者探索更小型的模型，本文旨在提供一个统一的小型LMMs性能分析。

核心内容：LLaVA-Gemma模型采用Gemma LLMs作为其语言模型，结合预训练的视觉编码器（如CLIP或DINOv2）和多阶段训练过程，以构建高效的多模态交互模型。
模型结构详述：模型遵循LLaVA框架，包括一个多层感知机（MLP）连接器和两阶段训练过程。第一阶段冻结视觉和语言模型来预训练MLP连接器，第二阶段联合微调语言模型和连接器。

核心实验结果：LLaVA-Gemma模型在多个基准测试中展现了中等性能，但在与当前相似规模的最先进模型相比时，未能实现性能提升。特别是，跳过预训练通常会降低性能，更大的视觉模型有时可以提高性能，而增加语言模型大小的效果则不一致。
消融实验：通过一系列消融实验，研究者们发现预训练连接器的省略通常会降低模型性能，而使用DinoV2作为视觉编码器通常可以提高性能，尤其是在GQA和MME基准测试中。

本文提出的LLaVA-Gemma模型为研究人员提供了一个独特的机会，去探索小型多模态模型中计算效率与多模态理解之间的权衡。通过Gemma-2B和Gemma-7B两种变体，研究者可以比较分析模型大小对不同任务性能的影响。
相关工作：与本文相关的其他核心论文包括LLaVA-Phi、Llama-2-7b、GPT-4等，这些研究同样探索了多模态模型的设计空间和性能。