EasyR1项目安装与配置指南

EasyR1项目安装与配置指南

EasyR1 EasyR1: An Efficient, Scalable, Multi-Modality RL Training Framework based on veRL 项目地址: https://gitcode.com/gh_mirrors/ea/EasyR1

1. 项目基础介绍

EasyR1是一个高效、可扩展的多模态强化学习训练框架，基于veRL项目进行优化改进，用于支持视觉语言模型。该项目主要使用Python 3.9+版本进行开发，致力于为用户提供一个高效稳定的强化学习训练平台。

2. 项目使用的关键技术和框架

• HybirdEngine: 提供灵活高效的数据处理和模型训练机制。
• vLLM: 使用最新的vLLM版本，特别是其SPMD模式，以提升训练效率。
• 支持模型: 包括Llama3/Qwen2/Qwen2.5语言模型，Qwen2/Qwen2.5-VL视觉语言模型，以及DeepSeek-R1蒸馏模型。
• 支持算法: GRPO, Reinforce++, ReMax, RLOO等强化学习算法。
• 支持数据集: 支持特定格式的文本数据集和视觉-文本数据集。

3. 项目安装和配置准备工作

在开始安装之前，请确保您的系统中已经安装了以下依赖：

• Python 3.9+ -pip (Python包管理器) -Docker (用于构建环境，可选)

详细安装步骤

第一步：克隆项目仓库

打开命令行终端，执行以下命令克隆EasyR1项目：

git clone https://github.com/hiyouga/EasyR1.git

第二步：安装Python依赖

进入项目目录，安装项目所需的Python包：

cd EasyR1
pip install -e .

第三步：构建Docker环境（可选）

如果您选择使用Docker环境，可以构建项目的Docker镜像：

# 选择稳定版本
docker pull hiyouga/verl:ngc-th2.5.1-cu120-vllm0.7.4-hotfix

# 或者选择夜间版本
docker pull hiyouga/verl:ngc-th2.6.0-cu120-vllm0.8.2

第四步：运行示例脚本

根据项目提供的示例脚本开始训练模型。例如，运行以下命令以使用GRPO算法训练Qwen2.5-VL模型：

bash examples/qwen2_5_vl_7b_geo3k_grpo.sh

按照以上步骤，您应该能够成功安装并配置EasyR1项目，开始您的强化学习训练任务。如果在安装或配置过程中遇到任何问题，请查阅项目的官方文档或加入项目讨论组获取帮助。

EasyR1 EasyR1: An Efficient, Scalable, Multi-Modality RL Training Framework based on veRL 项目地址: https://gitcode.com/gh_mirrors/ea/EasyR1