ViP-LLaVA 开源项目使用教程

最新推荐文章于 2024-09-26 16:55:46 发布

廉咏燃

最新推荐文章于 2024-09-26 16:55:46 发布

阅读量289

点赞数 3

本文链接：https://blog.csdn.net/gitblog_00676/article/details/142242507

版权

ViP-LLaVA 开源项目使用教程

ViP-LLaVA [CVPR2024] ViP-LLaVA: Making Large Multimodal Models Understand Arbitrary Visual Prompts 项目地址: https://gitcode.com/gh_mirrors/vi/ViP-LLaVA

1. 项目介绍

ViP-LLaVA（Visual Prompting Large Language and Vision Assistant）是一个旨在使大型多模态模型理解任意视觉提示的项目。该项目由威斯康星大学麦迪逊分校和Cruise LLC的研究团队开发，并已被CVPR 2024接受。ViP-LLaVA通过直接在原始图像上叠加视觉提示，使得多模态模型能够以用户友好的方式理解任意视觉提示。

主要特点：

简单设计：无需特定的区域编码模块。
通用性：用户可以绘制任意视觉提示，如涂鸦、圆形和箭头。
高性能：在区域理解任务上达到最先进的性能。

2. 项目快速启动

安装

首先，克隆项目仓库并进入项目目录：

git clone https://github.com/WisconsinAIVision/ViP-LLaVA.git
cd ViP-LLaVA

创建并激活虚拟环境：

conda create -n vip-llava python=3.10 -y
conda activate vip-llava

安装必要的包：

pip install --upgrade pip
pip install -e .

快速开始

使用HuggingFace的示例代码加载预训练模型并进行推理：

from llava.model.builder import load_pretrained_model
from llava.mm_utils import get_model_name_from_path
from llava.eval.run_llava import eval_model

model_path = "mucai/vip-llava-7b"
prompt = "What is shown within the pointed region?"
image_file = "https://pages.cs.wisc.edu/~mucai/man-cross-street.jpg"

args = type('Args', (), {
    "model_path": model_path,
    "model_name": get_model_name_from_path(model_path),
    "query": prompt,
    "image_file": image_file,
    "conv_mode": None,
    "model_base": None,
    "temperature": 0.2,
    "top_p": None,
    "num_beams": 1,
    "max_new_tokens": 512,
    "sep": "\t",
})()

eval_model(args)