LLaVA-v1.5-7B：实现先进多模态学习的开源AI

引言

LLaVA-v1.5-7B是一个开源大型多模态模型（LMM），它通过结合视觉指令调整（Visual Instruction Tuning）技术，展示了在多模态理解和生成任务上的卓越性能。该模型特别注重简洁性和数据效率，利用CLIP-ViT-L-336px与多层感知器（MLP）投影以及包含学术任务导向的视觉问答（VQA）数据，来建立更强的基准。

• Huggingface模型下载：https://huggingface.co/llava-hf/llava-1.5-7b-hf

• AI快站模型免费加速下载：https://aifasthub.com/models/llava-hf

技术特点

LLaVA-v1.5-7B的最终13B检查点仅使用了1.2M公开可用的数据，并在单个8-A100节点上仅用约1天完成全部训练，这彰显了其出色的训练效率和轻量级架构。模型通过对CLIP-ViT-L-336px和MLP投影层的简单修改，以及对特定学术任务导向的VQA数据的添加，取得了11个基准测试中的最佳性能。

多模态学习能力

LLaVA-v1.5-7B在多模态学习领域展示了强大的能力。它能够处理包括对话风格的问答、详细描述和复杂推理在内的多种类型的视觉指令。此外，该模型利用多种不同来源的数据，包括lmsys-chat-1M、ShareGPT和Antropic/hh