本文是LLM系列文章,针对《xGen-MM (BLIP-3): A Family of Open Large Multimodal Models》的翻译。
摘要
本报告介绍了xGen-MM(也称为BLIP-3),这是一个用于开发大型多模态模型(LMM)的框架。该框架由精心策划的数据集、训练配方、模型架构和由此产生的LMM套件组成。xGen-MM是xGen-MultiModal的缩写,它在基础AI模型上扩展了Salesforce的xGen计划。我们的模型经过一系列任务的严格评估,包括单图像和多图像基准测试。我们的预训练基础模型表现出强大的上下文学习能力,而指令调优模型在具有相似模型大小的开源LMM中表现出了具有竞争力的性能。此外,我们引入了一个带有DPO的安全调整模型,旨在减轻幻觉等有害行为并提高安全性。我们开源了我们的模型、精心策划的大规模数据集和我们的微调代码库,以促进LMM研究的进一步发展。相关资源将在我们上面的项目页面上提供。