X-R1：3090也能训7B模型！开源框架X-R1把训练成本打下来了：10美元训出企业级LLM-CSDN博客

本文链接：https://blog.csdn.net/m0_59164520/article/details/145713456

今天要介绍的 X-R1框架，正在用强化学习重构训练规则！这个由华人团队研发的开源工具，首次让3090显卡集群实现7B模型高效训练，1小时成本仅需9.9美元。已有Early adopters用它完成：

✅ 32B模型在64G显存环境分布式训练
✅ 企业级对话模型微调成本降低87%
✅ 单卡实现R1-Zero算法的在线采样优化

是时候打破算力垄断了——你的显卡准备好了吗？

X-R1 是什么

x-r1

X-R1 是一个基于强化学习的低成本训练框架，专为加速大规模语言模型的后训练（Scaling Post-Training）而设计。它能够在极低的成本下，使用常见的硬件配置（如4块3090或4090 GPU），在1小时内完成0.5B规模的R1-Zero模型训练，成本低于10美元。

此外，X-R1 支持更大规模的模型（如1.5B、7B、32B等），并提供不同大小的数据集以实现快速训练循环。

X-R1 的主要功能

低成本训练：仅需4块3090/4090 GPU，1小时内完成训练，成本低于10美元。
模型规模支持：支持0.5B、1.5B、7B、32B等不同规模的模型。
数据集：提供0.75k、1.5k、7.5k等不同规模的数据集，用于快速训练循环。
日志记录：记录GRPO在线采样数据到日志文件。
扩展性与灵活性：提供详细的配置文件和训练脚本，方便用户根据需求进行定制。

X-R1 的技术原理

强化学习（Reinforcement Learning, RL）：X-R1 用强化学习优化模型的训练过程。基于定义奖励函数，模型在训练过程中根据奖励信号调整参数，最大化累积奖励。采用GRPO（Gradient-based Reinforcement Policy Optimization）技术进行在线采样，提升训练效率和模型性能。
分布式训练：X-R1 支持分布式训练，利用多GPU并行计算加速训练过程。基于配置文件（如Zero3.yaml），用户可以灵活设置训练环境，实现高效的并行训练。采用DeepSpeed等分布式训练框架，优化内存使用和计算效率。
低成本硬件配置：X-R1 专注于用常见的硬件配置（如4块3090或4090 GPU）进行训练，降低硬件成本。
日志监控：集成Wandb等工具，实现训练过程的可视化监控，帮助用户实时了解训练状态。

如何运行 X-R1

1. 安装依赖

确保你的环境中安装了 CUDA >= 12.4，并创建一个新的 Conda 环境：

conda create -n xr1 python=3.11   conda activate xr1   pip install -r requirements.txt   pip install flash-attn

2. 创建输出目录

mkdir output

3. 配置与训练

3.1 0.5B 模型

对于 0.5B 模型，假设你有 4 块 NVIDIA 3090 GPU。你可以使用以下命令启动训练：

ACCELERATE_LOG_LEVEL=info \   accelerate launch \   --config_file recipes/zero3.yaml \   --num_processes=3 \   src/x_r1/grpo.py \   --config recipes/X_R1_zero_0dot5B_config_peft.yaml \   > ./output/x_r1_0dot5B_sampling.log 2>&1

--num_processes=3：表示使用 3 个进程进行训练，其中 1 个 GPU 用于在线推理引擎（vLLM），以加快 GRPO 采样。
--config recipes/X_R1_zero_0dot5B_config_peft.yaml：指定配置文件，用于 0.5B 模型的训练。

3.2 1.5B 模型

对于 1.5B 模型，配置类似，但需要调整一些参数。假设你有 4 块 NVIDIA 3090 GPU，可以使用以下命令启动训练：

ACCELERATE_LOG_LEVEL=info \   accelerate launch \   --config_file recipes/zero3.yaml \   --num_processes=3 \   src/x_r1/grpo.py \   --config recipes/X_R1_zero_1dot5B_config.yaml \   > ./output/x_r1_1dot5B_sampling.log 2>&1

3.3 3B 模型

对于 3B 模型，训练时间会更长，大约需要 16 小时。你可以使用以下命令启动训练：

ACCELERATE_LOG_LEVEL=info \   accelerate launch \   --config_file recipes/zero3.yaml \   --num_processes=3 \   src/x_r1/grpo.py \   --config recipes/X_R1_zero_3B_config.yaml \   > ./output/x_r1_3B_sampling.log 2>&1

4. 示例：中文数学推理

X-R1 支持中文数学问题的推理，可以通过以下命令启动训练：

ACCELERATE_LOG_LEVEL=info \   accelerate launch \   --config_file recipes/zero3.yaml \   --num_processes=3 \   src/x_r1/grpo.py \   --config recipes/examples/mathcn_zero_3B_config.yaml \   > ./output/mathcn_3B_sampling.log 2>&1

该配置文件专门用于中文数学问题的训练，使用 4 块 NVIDIA 3090 GPU，大约需要 16 小时完成 3B 模型的训练。

5. 训练结果与日志

5.1 训练日志

0.5B 模型日志 - Google Drive：https://drive.google.com/file/d/1m-w0B2L9o-bwGDgaOtWFLR0C0MAEBTFQ/view?usp=sharing
1.5B 模型日志 - Google Drive：https://drive.google.com/file/d/11tBShY206Pu_SxWE0M-mG2_Cdf9mFNig/view?usp=sharing
3B 模型日志 - Google Drive：https://drive.google.com/file/d/1t4WzsK0aMrULYKjKsKH29LsWQMeTDjTb/view?usp=sharing

5.2 训练曲线

训练过程中，模型的表现可以通过奖励曲线来观察。以下是 3B 模型在中文数学推理任务中的奖励曲线：

X-R1-math-cn-curve

5.3 中文数学推理的“顿悟时刻”

在训练过程中，模型会逐渐学会解决复杂的数学问题，并出现“顿悟时刻”。以下是一些示例：

示例1

X-R1-Math-cn-AhaMoment-1

示例2

X-R1-Math-cn-AhaMoment-2

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述