LLaVA: GPT-4V(ision)的开源替代品

最新推荐文章于 2025-03-31 16:29:10 发布
最新推荐文章于 2025-03-31 16:29:10 发布
阅读量1k 收藏 32
点赞数 14
分类专栏： 大语言模型 文章标签： 人工智能 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wjjc1017/article/details/136291545
版权
本文介绍了LLaVA，一个开源的大型语言和视觉助手，它能在较少数据和资源下提供强大的图像理解和对话能力。文章详细讲解了在线使用、本地安装、技术特点和编程示例，以及其在HuggingFace和Gradio上的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录


img
好奇这张图片是在哪里拍的？问问LLaVA吧！

LLaVA（大型语言和视觉助手的缩写）是一个有前途的开源生成AI模型，可以复制OpenAI GPT-4的一些能力，与图像进行对话。用户可以将图像添加到LLaVA聊天对话中，讨论这些图像的内容，还可以将它们用作以视觉方式描述想法、背景或情境的方式。

LLaVA最引人注目的特点是它能够在使用更简单的模型架构和数量级更少的训练数据的情况下改进其他开源解决方案。这些特点使LLaVA不仅更快、更便宜地进行训练，而且更适合在消费者硬件上进行推理。

本文概述了LLaVA，更具体地旨在：

  • 展示如何从Web界面进行实验，以及如何在计算机或笔记本电脑上安装它

  • 解释其主要技术特点

  • 说明如何使用它进行编程，使用HuggingFace库（Transformers和Gradio）在Google Colab上构建一个简单的聊天机器人应用程序作为示例。

在线使用LLaVA

如果您还没有尝试过，使用LLaVA的最简单方法是访问其作者提供的Web界面。下面的截图说明了界面的操作方式，其中用户询问如何根据冰箱内容的图片获得做饭的想法。可以使用左侧的小部件加载图像，聊天界面允许以文本形式提问并获得答案。
img

在线LLaVA界面

在这个例子中，LLaVA正确地识别了冰箱里的食材，比如蓝莓、草莓、胡萝卜、酸奶或牛奶，并提出了相关的想法，比如水果沙拉、冰沙或蛋糕。

LLaVA的其他对话示例可以在项目网站上找到，这些示例说明LLaVA不仅可以描述图像，还可以根据图像中的元素进行推理和推断（使用图片中的线索识别电影或人物，根据绘画编写网站，解释幽默情境等）。

在本地运行LLaVA

LLaVA也可以使用Ollama或Mozilla的’llamafile’在本地机器上安装。这些工具可以在大多数仅支持CPU的消费级机器上运行，因为该模型只需要8GB的RAM和4GB的可用磁盘空间，甚至已经成功地在树莓派上运行过。在Ollama项目周围开发的工具和界面中，一个值得注意的举措是Ollama-WebUI（如下图所示），它复制了OpenAI ChatGPT用户界面的外观和感觉。
img

LLaVA的主要特点简要概述

LLaVA是由威斯康星大学麦迪逊分校、微软研究院和哥伦比亚大学的研究人员设计的，并最近在NeurIPS 2023上展示。该项目的代码和技术规范可以在其Github存储库上访问，该存储库还提供了与助手交互的各种接口。

正如作者在他们论文的摘要中总结的那样：

[LLava]在11个基准测试中取得了最先进的成果。我们的最终13B检查点仅使用了120万个公开可用的数据，并在单个8-A100节点上的约1天内完成了完整的训练。我们希望这可以使最先进的LMM研究更加易于访问。代码和模型将公开可用。

下面的雷达图显示了与其他最先进模型相比的改进的基准结果，这些结果在论文中报告。
img

内部工作原理

LLaVA的数据处理工作流程在概念上非常简单。该模型基本上作为标准因果语言模型运作，将语言指令（用户文本提示）作为输入，并返回语言响应。语言模型处理图像的能力是由一个单独的视觉编码器模型实现的，该模型将图像转换为语言标记，这些标记被静默地添加到用户文本提示中（作为一种软提示）。LLaVA的过程如下图所示。

img

LLaVA网络架构（图片来自paper）

LLaVA的语言模型和视觉编码器依赖于两个称为Vicuna和CLIP的参考模型。Vicuna是一个基于LLaMA-2（由Meta设计）的预训练大型语言模型，具有与中型LLM相媲美的性能（请参阅HuggingFace上的7B和13B版本的模型卡片）。CLIP是由OpenAI设计的图像编码器，经过预训练以在相似的嵌入空间中编码图像和文本（因此称为“CLIP”）。LLaVA中使用的模型是视觉变换器变体CLIP-ViT-L/14（请参阅HuggingFace上的模型卡片）。

为了使视觉编码器的维度与语言模型的维度匹配，应用了一个投影模块（上图中的W）。在原始的LLaVA中，它是一个简单的线性投影，而在LLaVA 1.5中是一个两层感知器。

训练过程

LLaVA的训练过程包括两个相对简单的阶段。

第一阶段仅旨在调整投影模块W，并保持视觉编码器和LLM的权重冻结。训练使用来自CC3M概念字幕数据集约600k个图像/字幕对的子集进行，可在HuggingFace的此存储库中获得。

在第二阶段，使用包含158K个语言-图像指令跟随数据的数据集，同时微调投影模块权重W和LLM权重（同时保持视觉编码器的权重冻结）。这些数据是使用GPT4生成的，并包含对话、详细描述和复杂推理的特征示例，可在HuggingFace的此存储库中获得。

整个训练过程使用八个A100 GPU大约需要一天的时间。

使用LLaVA进行编程：如何入门

代码可在 Colab相关笔记本* 上获得。

LLaVA模型已集成到Transformers库中，可以使用标准的pipeline对象加载。模型的7B和13B变体可在LLaVA 😊 Hub空间上获得，并且可以以4位和8位加载以节省GPU内存。下面我们将演示如何加载和运行模型的代码，该代码可以在Colab上使用T4 TPU（15GB RAM GPU）执行。

以下是加载LLaVA 1.5的7B变体的代码片段（以4位加载）：

from transformers import pipeline, BitsAndBytesConfig  # 导入所需的库

import torch  # 导入torch库

quantization_config = BitsAndBytesConfig(  # 创建一个BitsAndBytesConfig对象，用于配置量化参数
    load_in_4bit=True,  # 设置加载模型时使用4位量化
    bnb_4bit_compute_dtype=torch.float16  # 设置计算时使用16位浮点数
)

model_id = "llava-hf/llava-1.5-7b-hf"  # 设置模型的ID

pipe = pipeline("image-to-text", model=model_id, model_kwargs={"quantization_config": quantization_config})  # 创建一个图像到文本的pipeline对象，使用指定的模型和量化配置

让我们加载这张图片。
img
我们使用标准的PIL库来加载图片：

# 导入requests模块和PIL库
import requests
from PIL import Image

# 定义图片链接
image_url = "https://cdn.pixabay.com/photo/2018/01/29/14/13/italy-3116211_960_720.jpg"

# 通过requests模块获取图片流，并使用PIL库打开图片
image = Image.open(requests.get(image_url, stream=True).raw)

# 显示图片
image

让我们最终使用图片查询LLaVA模型，并提示描述图片。

注意：提示的格式如下所示：

“USER: \n\nASSISTANT:”

# 定义一个字符串变量prompt，用于存储对话的起始部分
prompt = "USER: <image>\nDescribe this picture\nASSISTANT:"

# 调用pipe方法，传入图片和对话起始部分作为参数，同时设置生成文本的最大长度为200个token
outputs = pipe(image, prompt=prompt, generate_kwargs={"max_new_tokens": 200})

# 打印生成的文本结果
print(outputs[0]['generated_text'])

LLaVA聊天机器人

让我们最终创建一个简单的聊天机器人，它依赖于LLaVA模型。我们将使用Gradio库，它提供了一种快速简便的方式来创建机器学习的Web界面。

界面的核心包括一个图像上传器（一个Gradio Image对象）和一个聊天界面（一个Gradio ChatInterface对象）。

import gradio as gr

# 创建一个Gradio应用程序
with gr.Blocks() as demo:

    # 创建一个行布局
    with gr.Row():
        # 创建一个图像组件
        image = gr.Image(type='pil', interactive=True)

        # 创建一个聊天界面组件，并将图像组件作为附加输入
        gr.ChatInterface(
            update_conversation, additional_inputs=[image]
        )

聊天界面连接到一个名为update_conversation的函数，它负责保持对话历史记录，并在用户发送消息时调用LLaVA模型以获取响应。

# 定义一个更新对话的函数，需要传入新的消息、历史记录和图片
def update_conversation(new_message, history, image):
    # 如果图片为空，则返回提示信息
    if image is None:
        return "Please upload an image first using the widget on the left"

    # 从历史记录中找到不以“Please”开头的对话，作为新的对话起点
    conversation_starting_from_image = [[user, assistant] for [user, assistant] in history if not assistant.startswith('Please')]

    # 定义对话的开头，包含用户上传的图片
    prompt = "USER: <image>\n"

    # 遍历历史记录，将用户和助手的对话拼接到开头中
    for i in range(len(history)):
        prompt+=history[i][0]+'ASSISTANT: '+history[i][1]+"USER: "

    # 将新的消息拼接到开头中，并添加助手的回复
    prompt = prompt+new_message+'ASSISTANT: '

    # 调用模型生成对话，并获取生成的文本
    outputs = pipe(image, prompt=prompt, generate_kwargs={"max_new_tokens": 200, "do_sample" : True, "temperature" : 0.7})[0]['generated_text']

    # 返回生成的文本，去掉开头的用户和助手的对话
    return outputs[len(prompt)-6:]

接口通过调用launch方法来启动。

# 运行demo.launch文件，并开启调试模式
demo.launch(debug=True)

几秒钟后，聊天机器人的Web界面将出现：
img
恭喜，您的LLaVA聊天机器人现在已经启动！

有用的链接

每日论文推荐：我们距离GPT-4V有多远，最接近GPT-4V的开源多模态大模型
林夕
04-28 1081
📌 元数据概览：✨ 核心观点与亮点：📚 论文的核心内容，模型结构，关键术语/概念：🌟 实验结果：🔄 总结归纳：❓ 引发思考的问题：
大模型GUI系列论文阅读 DAY3：《GPT-4V(ision) is a Generalist Web Agent, if Grounded》
feifeikon的博客
01-21 1060
因此，SEEACT 探索了最新发布的更强大的多模态模型（LMMs），如 GPT-4V 和 Gemini，并通过全面的在线和离线评估，展示它们作为通用网页代理的潜力。然而，基于 LLM 或 LMM 的代理通常无法直接生成上述三元组 (e,o,v)(e, o, v)(e,o,v)，而是生成描述这些变量的文本动作 a~\tilde{a}a~，包括 (e~,o~,v~)(\tilde{e}, \tilde{o}, \tilde{v})(e~,o~,v~)。（Deng 等, 2023）数据集上评估了我们的方法。
InternVL——GPT-4V 的开源替代方案
文浩Marvin的博客
04-29 1703
而 InternVL 1.5 在多个重要的基准测试上都展现出了卓越的性能，在文档理解、图表分析、数学视觉问答等方面都有着出色的表现。可以说，InternVL 的出现为人工智能的发展注入了新的活力，让我们对未来充满期待。它的开源特性也为更多的开发者提供了探索和创新的机会，相信在不久的将来，我们会看到更多基于 InternVL 开发的精彩应用。在 OCR 和文档理解方面，这款模型更是表现出色，能够有效识别和解释高达 4K 分辨率的文档图像中的文字。在人工智能领域，InternVL 无疑是一颗耀眼的新星。
【LLM多模态】LLava模型架构和训练过程 | CLIP模型
热门推荐
发现问题，并解决问题，批判性思维
05-23 3万+
CLIP使用了对比学习的方法，即通过正样本（匹配的图像-文本对）和负样本（不匹配的图像-文本对）来训练模型。在训练过程中，模型会尝试最大化正样本对的相似度（比如通过计算余弦相似度），同时最小化负样本对的相似度。 CLIP模型在zero-shot学习中表现强大，可以直接用于zero-shot推理，比如将猫的图片emb后，将猪狗猫等类的文本描述也分别emb，计算图片和类别emb之间的相似度，从而进行分类。 CLIP-ViT-L/14模型的14表示每个patch的分辨率为14X14，比如在224x224像素的图像
LLaVA系列③——微调训练LLaVA并进行推理（附详细代码+讲解）
最新发布
Wang_Dou_Dou_的博客
03-31 1180
整体文章脉络如下：下载数据集、数据集的读取、辅助工具函数、模型的训练6 轻量数据集的微调训练、加载训练好的模型来推理。
【多模态&LLM】LLaVA系列算法架构演进：LLaVA（1.0-＞1.5-＞Next(1.6)-＞NeXT(Video)）
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
01-12 1007
它们在多式联运环境中的有效性仍然有限。关键的障碍在于（1）开发一个强大的奖励系统，能够区分偏好的响应和不太偏好的响应，以及（2）从人类那里获取高质量的偏好数据既昂贵又费力，特别是对于多帧的视频输入。长度泛化：从多帧到长视频：受到 LLM 中处理长序列的最新进展的启发，例如在旋转位置嵌入 (RoPE) 中实现线性缩放，我们在 LLaVA-NeXT 中应用了类似的缩放方法。这种线性缩放的调整不仅有利于处理更多帧，而且为 LLaVA-NeXT 在综合视频分析中的应用开辟了新的途径，为该领域的未来研究树立了先例。
多模态 ——LLaVA 集成先进图像理解与自然语言交互GPT-4的大模型
知来者逆的博客
04-11 2063
提出了一种大型模型 LLaVA，它使用 GPT-4 生成多模态语言图像指令跟随数据，并利用该数据将视觉和语言理解融为一体。初步实验表明，LLaVA 展示了出色的多模态聊天能力，在合成多模态指令上的表现优于 GPT-4。在科学质量保证中进行微调时，LLaVA 和 GPT-4 的协同作用实现了新的一流准确性。
LLaVa的概述
pumpkin84514的博客
06-21 2692
LLaVa (Large Language and Vision Assistant) 是一种先进的多模态人工智能模型，能够同时处理和理解文本和图像。这意味着 LLaVa 可以在同一时间分析来自语言和视觉的输入信息，做出综合判断和生成响应。LLaVa 结合了先进的图像处理和自然语言生成技术，能够理解和生成多模态内容。这种综合能力使得 LLaVa 在许多实际应用中具有强大的潜力，能够提供更智能和丰富的用户体验。
探索GPT-4V：大型多模态模型的创新与应用前瞻
fengbeely的博客
08-02 991
大型语言模型 (LLM)[22,94,27,10,116,50] 的突破在各个领域和任务中表现出了卓越的多功能性和能力。该领域的下一个发展是大型多模态模型 (LMM)，旨在通过集成多感官技能（multi-sensory skills）来扩展 LLM 的功能，以实现更强大的通用智能。鉴于视觉在人类感官中的主导地位 [30, 55]，许多 LMM 研究都是从扩展视觉能力开始的。
AI多模态论文解读：LLaVA-CoT：让视觉语言模型逐步推理
AIGCmagic的博客
01-10 1520
LLaVA-CoT（Let Vision Language Models Reason Step-by-Step），一种旨在通过多阶段推理来增强视觉语言模型（VLM）系统性和结构性推理能力的新模型。LLaVA-CoT将答案生成过程分解为四个结构化推理阶段：总结、标题、推理和结论。模型提供问题的高层次总结，概述将要解决的问题的主要方面。如果存在图像，模型提供与问题相关的视觉元素的简洁概述，帮助理解多模态输入。基于初始总结，模型进行结构化和逻辑推理，得出初步答案。模型综合前面的推理，生成最终答案。
LLaVA-NeXT-Interleave: Tackling Multi-image, Video, and 3D in Large Multimodal Models
读书郎
08-21 1711
将不同任务的数据格式统一为interleave的图像-文本格式，使得模型能够处理不同场景中的多种任务，如多图像任务、视频任务和3D任务。构造了新的的训练数据集M4-Instruct，包含1177.6k个样本，覆盖了14个任务和41个数据集，支持多图像、视频、3D和单图像任务。LLAVA-NeXT-Interleave在多图像、视频和3D任务中取得了领先的性能，同时保持了单图像任务的表现。通过联合训练多个任务，该模型展示了在不同设置和模式之间任务转移的新能力。
LLaVA：GPT-4V(ision) 的新开源替代品
代码讲故事
02-04 1973
LLaVA：GPT-4V(ision) 的新开源替代品。
Visual Instruction Tuning: 用LLaVA近似多模态GPT-4
Paper weekly
04-19 2869
©Paperweekly 原创 · 作者 |Chunyuan Li使用 GPT-4 进行视觉指令学习！Visual Instruction Tuning with GPT-4!▲Generated by GLIGEN (https://gligen.github.io/): A cute lava llama and glasses我们分享了 LLaVA (Language-and-Visio...
探索未来：LLaVA——大型语言与视觉助手
gitblog_00448的博客
08-08 1143
???? 探索未来：LLaVA——大型语言与视觉助手 项目地址:https://gitcode.com/gh_mirrors/ll/LLaVA ???? 项目介绍 LLaVA（Large Language and Vision Assistant）是一款革命性的多模态模型，旨在通过视觉指令调整，实现与GPT-4级别能力相媲美的大型语言和视觉模型。该项目由Haotian Liu、Chunyuan Li、Yuhe...
详解多模态大模型：LLaVA+LLaVA1.5+LLaVA-Med
zenRRan的博客
02-04 1万+
作者：凯恩博，香港城市大学计算机科学博士编辑：青稞AILLaVA repo：https://github.com/haotian-liu/LLaVA/ LLaVA 1.0：Visual Instruction Tuning LLaVA 1.5：Improved Baselines with Visual Instruction Tuning一句话优点：1、极大简化了VLM的训练方式：Pre-tra...
Ollama：本地部署大模型 + LobeChat：聊天界面 = 自己的ChatGPT
2401_85328934的博客
06-17 4737
本篇文章介绍了本地大模型的部署和 LobeChat 界面的部署，成功在本地部署属于自己的ChatGPT。上面也只是关键步骤的说明，遇到问题多看下官方的安装文档。本文起到抛砖引玉作用。
Ollama 运行视觉语言模型LLaVA
新缸中之脑
10-05 1737
这些模型有三种参数大小。
主流VLM原理深入刨析（CLIP，BLIP，BLIP2，Flamingo，LLaVA，MiniCPT，InstructBLIP，mPLUG-owl）
ZhengrongYue的博客
12-28 1万+
MLM（CLIP，BLIP，BLIP2，LLaVA，MiniCPT，InstructBLIP，mPLUG-owl）
使用LLaVA模型实现以文搜图和以图搜图
小张学AI
03-25 2532
使用LLaVA模型实现以文搜图和以图搜图实战
Prepare LLaVA-1.1-7B/13B checkpoint: please follow the LLaVA instruction to prepare LLaVA-1.1-7B/13B weights.
03-09
<think>好的，用户想获取关于如何准备LLaVA-1.1-7B和13B模型权重的官方指导。我需要先回忆一下LLaVA项目的相关信息。根据用户提供的引用[^1]，官方文档提到了Model Zoo，里面应该包含所有公开的LLaVA检查点和使用权重的说明。首先，用户需要访问Model Zoo页面，找到对应的模型版本。 接下来，步骤可能包括克隆官方仓库，安装依赖项。用户需要确保环境配置正确，比如Python版本、PyTorch版本以及相关的库如transformers和accelerate。然后，下载预训练的视觉模型和语言模型，可能使用提供的脚本或直接下载链接。 用户可能需要合并视觉和语言模型的权重，这通常需要运行特定的脚本，比如官方提供的转换脚本。例如，使用`python -m llava.model.apply_delta`命令来合并基础语言模型和LLaVA的增量权重。这里要确保路径正确，避免文件找不到的错误。 此外，用户可能会遇到依赖项版本不兼容的问题，需要按照官方指定的版本安装。例如，使用特定版本的torch和transformers库。可能还需要注意CUDA版本是否匹配，以确保GPU加速正常。 最后，验证模型是否加载成功，可以通过运行示例代码或官方提供的测试脚本来检查。如果用户遇到问题，可能需要查阅项目的GitHub Issues或社区讨论，寻找常见问题的解决方案。 用户的需求可能不仅限于准备权重，还可能涉及如何微调模型或使用模型进行推理。因此，生成的相关问题可以包括如何微调LLaVA模型，或者在不同硬件上部署的注意事项，以及如何处理多模态输入等。确保回答准确引用官方文档，并引导用户正确操作，避免常见的配置错误。</think>关于LLaVA-1.1-7B/13B模型权重的准备，请按照以下步骤操作： ### 1. 环境准备 - 克隆官方仓库并安装依赖： ```bash git clone https://github.com/haotian-liu/LLaVA.git cd LLaVA pip install -e . ``` 注意需使用Python ≥3.8，PyTorch ≥2.0和transformers ≥4.31.0 ### 2. 权重下载 - **基础语言模型**： - LLaVA-1.1-7B：下载Vicuna-7B-v1.5权重 - LLaVA-1.1-13B：下载Vicuna-13B-v1.5权重 - **视觉模型**： 使用官方提供的CLIP ViT-L/14-336px视觉编码器 ### 3. 权重合并 使用官方提供的delta权重进行融合： ```bash python -m llava.model.apply_delta \ --base [path/to/vicuna_weights] \ --target [output_directory] \ --delta liuhaotian/llava-v1.1-7b-delta-v0 # 13B则替换为llava-v1.1-13b-delta-v0 ``` ### 4. 验证加载 ```python from llava.model import LlavaLlamaForCausalLM model = LlavaLlamaForCausalLM.from_pretrained("[output_directory]") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数智笔记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值