VLM-R1 项目安装与配置指南

VLM-R1 项目安装与配置指南

VLM-R1 Solve Visual Understanding with Reinforced VLMs 项目地址: https://gitcode.com/gh_mirrors/vl/VLM-R1

1. 项目基础介绍

VLM-R1 是一个开源项目，旨在提供一个稳定且通用的视觉-语言模型。该项目基于 R1-style 大型视觉-语言模型，适用于各种任务，如指代表达式理解（Referring Expression Comprehension, REC）、开放词汇检测（Open-Vocabulary Detection, OVD）和多模态数学推理等。

主要编程语言：Python

2. 项目使用的关键技术和框架

• 深度学习框架：使用 PyTorch 进行模型的训练和推理。
• 模型训练：采用基于强化学习的训练方法，包括 GRPO（Generalized Referenced Point Optimization）和 LoRA（Low-Rank Adaptation）微调技术。
• 数据集：使用 RefCOCO/+/g 和 LISA-Grounding 数据集进行训练和评估。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的系统满足以下要求：

• Python 3.10
• CUDA（用于GPU加速）
• conda（用于环境管理）

详细安装步骤

步骤 1：创建 Python 环境

打开命令行，创建一个新的 Python 环境：

conda create -n vlm-r1 python=3.10
conda activate vlm-r1

步骤 2：安装依赖

在激活的环境中，运行以下命令安装项目所需的依赖：

bash setup.sh

步骤 3：准备数据集

下载 COCO Train2014 图像数据和 RefCOCO/+/g 以及 LISA-Grounding 注释文件。将图像数据解压后放在一个目录中，并将注释文件的路径写入 src/open-r1-multimodal/data_config/rec.yaml 文件：

datasets:
- json_path: /path/to/refcoco_train.json
- json_path: /path/to/refcocop_train.json
- json_path: /path/to/refcocog_train.json

步骤 4：开始训练

在准备好数据后，可以使用以下命令开始训练：

bash src/open-r1-multimodal/run_scripts/run_grpo_rec.sh

如果遇到内存不足的问题，可以尝试以下方法之一：

• 设置 gradient_checkpointing 为 true
• 减少 per_device_train_batch_size
• 使用 LoRA 微调

步骤 5：多节点训练

如果需要进行多节点训练，可以参考项目中的 multinode_training_demo.sh 脚本进行配置。

以上就是 VLM-R1 项目的详细安装和配置指南。按照以上步骤，即使是编程小白也可以顺利完成安装并开始使用该项目。

VLM-R1 Solve Visual Understanding with Reinforced VLMs 项目地址: https://gitcode.com/gh_mirrors/vl/VLM-R1