BuboGPT 开源项目使用教程

BuboGPT 开源项目使用教程

bubogpt BuboGPT: Enabling Visual Grounding in Multi-Modal LLMs 项目地址: https://gitcode.com/gh_mirrors/bu/bubogpt

1. 项目介绍

BuboGPT 是一个多模态大型语言模型（LLM），能够联合理解文本、视觉和音频输入，并将知识锚定到视觉对象中。该项目由 Bytedance Inc. 开发，旨在通过视觉锚定技术提升多模态 LLM 的用户体验和应用场景。

BuboGPT 的主要特点包括：

• 支持文本、图像和音频的多模态输入。
• 具备视觉锚定能力，能够将文本与视觉对象精确对应。
• 提供细粒度的视觉理解和音频理解。
• 支持任意模态组合的交互，无论是对齐还是未对齐的数据。

2. 项目快速启动

环境准备

首先，确保你的环境满足以下要求：

• Python 3.9
• CUDA 11.7
• Pytorch 2.0.1

安装依赖：

pip3 install -r pre-requirements.txt
pip3 install -r requirements.txt

下载预训练模型

下载预训练的 Vicuna 权重并更新配置文件：

mkdir checkpoints && cd checkpoints
wget https://huggingface.co/spaces/Vision-CAIR/minigpt4/resolve/main/blip2_pretrained_flant5xxl.pth
wget https://huggingface.co/spaces/xinyu1205/recognize-anything/resolve/main/ram_swin_large_14m.pth
wget https://github.com/IDEA-Research/GroundingDINO/releases/download/v0.1.0-alpha/groundingdino_swint_ogc.pth
wget https://huggingface.co/spaces/abhishek/StableSAM/resolve/main/sam_vit_h_4b8939.pth
wget https://huggingface.co/magicr/BuboGPT-ckpt/resolve/main/bubogpt_7b.pth

运行 Gradio 演示

使用以下命令启动 Gradio 演示：

python3 app.py --cfg-path eval_configs/mmgpt4_eval.yaml --gpu-id 0

3. 应用案例和最佳实践

图像理解与锚定

BuboGPT 能够对图像进行细粒度的理解，并将文本与图像中的特定区域关联起来。例如，当输入一张包含多个对象的图像时，BuboGPT 可以准确地描述每个对象的位置和特征。

音频理解

对于音频输入，BuboGPT 能够生成详细的描述，涵盖音频中的所有声学部分，即使某些音频片段非常短，人类难以察觉。

对齐的音频-图像理解

当提供匹配的音频-图像对时，BuboGPT 可以执行声音定位，生成与图像内容相符的音频描述。

任意音频-图像理解

BuboGPT 还能够判断图像和音频是否相关，并生成高质量的响应，适用于任意音频-图像组合。

4. 典型生态项目

MiniGPT-4

MiniGPT-4 是一个视觉指令跟随数据集，BuboGPT 在其基础上进行了扩展，增加了音频模态的支持。

LLaVA

LLaVA 是一个多模态指令跟随数据集，BuboGPT 利用其数据集进行视觉指令调优。

GroundingDINO

GroundingDINO 是一个视觉锚定模块，BuboGPT 使用其技术来提取句子中的实体并找到图像中对应的掩码。

Recognize-Anything

Recognize-Anything 是一个图像识别项目，BuboGPT 结合其技术进行图像内容的细粒度理解。

通过这些生态项目的支持，BuboGPT 能够实现更强大的多模态理解和视觉锚定能力。

bubogpt BuboGPT: Enabling Visual Grounding in Multi-Modal LLMs 项目地址: https://gitcode.com/gh_mirrors/bu/bubogpt