LLaVA：分析图像和文本数据的开源模型

原文地址：analyzing-images-with-llava

2024 年 3 月 20 日

在过去的几个月里，ChatGPT 等各种大型语言模型（LLM）已进入商业市场，许多公司已成功地将 LLM 集成到其产品和服务中，极大地改变了我们与设备和互联网的交互方式。尽管取得了成功，但 LLM 有一个很大的局限性--它们无法摄取和分析图像。

图像是互联网上可用信息的主要组成部分（据估计，在线图像达 7500 亿张）。这些图片蕴含着大量有用的信息，如最新的美食、旅游或时尚趋势，能够从图片中分析和提取洞察力将使我们能够为企业及其客户带来更多价值。在这篇文章中，我们将探讨一个能够同时分析图像和文本数据的开源模型--LLaVA，它于去年 2023 年刚刚发布。

LLaVA LMM 聊天机器人简介

LLaVA 是一个端到端训练有素的大型多模态（LMM）模型，它将 CLIP 视觉编码器与 Vicuna 开源聊天机器人相结合，创建了一个通用的多模态聊天机器人。用户通过输入图像和包含一系列指令的文本提示与 LLaVA 进行交互。然后，LLaVA 将根据指令分析输入的图像，并输出描述图像内容的文本。

LLaVA 的创新研究贡献

LLaVA 论文对 LMM 的发展做出了以下贡献：

• 数据创建过程后的多模式指导。

高质量的数据是创建高性能模型的关键&#