【LLM】O1/R1系列LLM数据篇

已于 2025-03-15 19:02:45 修改
阅读量1.1k 收藏 7
点赞数 8
分类专栏： # 大模型推理优化 # RAG和Agent # LLM大模型 文章标签： 思维链 大模型 LLM r1
于 2025-02-09 23:07:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35812205/article/details/145538874
版权

note

文章目录

GPQA：研究生级别的Google-Proof问答基准

项目地址：https://github.com/idavidrein/gpqa
GPQA项目的技术架构主要包括数据集的构建、模型的评估和基准测试的执行。数据集的构建过程中，开发者们通过人工筛选和设计，确保每个问题都具有一定的难度和复杂性。数据集的下载方式灵活，既可以通过密码保护的压缩文件获取，也可以通过Hugging Face平台直接下载。

在模型评估方面，GPQA支持多种模型的基准测试，包括OpenAI的gpt-3.5-turbo-16k-0613和gpt-4。用户可以通过简单的命令行接口（CLI）运行评估脚本，选择不同的模型和提示类型（如零样本、少样本、链式思维等），并根据需要调整参数。

此外，GPQA还提供了开放书籍（open-book）基准测试，利用Bing搜索引擎的API，模型可以在回答问题时参考网络上的相关信息，进一步模拟真实世界的问答场景。

SYNTHETIC-1数据集

链接：https://huggingface.co/collections/PrimeIntellect/synthetic-1-67a2c399cfdd6c9f7fae0c37
SYNTHETIC-1 包含了涵盖数学、编程和科学领域的多样化任务推理轨迹，其正确性已通过任务特定的验证器确认。包含所有推理轨迹（包括被验证器判定为错误的轨迹）的原始 200 万数据集可在 PrimeIntellect/SYNTHETIC-1 下获取。

注意：除了原始数据外，本文还进行了后处理，生成了一个包含 90 万样本的 SFT 数据集和一个包含 1.1 万样本的偏好调优数据集。

数学问题（77.7 万样本）：

  • 任务：来自 NuminaMath 的竞赛级数学问题，通过基于 LLM 的后处理将选择题转换为自由形式问题，并过滤掉无法自动验证响应的问题（例如要求证明的问题）。
  • 验证器：基于 math-verify 库的符号验证。
  • 任务数据集：PrimeIntellect/verifiable-math-problems

算法编程问题（14.4 万样本）：

  • 任务：来自 Leetcode 等编程竞赛和平台的算法挑战，从 Apps、Codecontests、Codeforces 和 TACO 数据集中筛选。通过基于 LLM 的后处理，将 Python 问题转换为 Javascript、Rust 和 C++ 问题。
  • 验证器：单元测试的容器化执行。
  • 任务数据集：PrimeIntellect/verifiable-coding-problems

现实世界软件工程问题（7 万样本）：

  • 任务：源自 CommitPack 数据集中真实世界的 GitHub 提交。每个问题将提交前的代码文件与 LLM 生成的修改指令配对，这些指令基于原始提交消息和提交后文件状态的上下文生成。
  • 验证器：LLM 评判器将 LLM 生成的代码与实际提交后的文件状态进行比较。
  • 任务数据集：PrimeIntellect/real-world-swe-problems

开放式 STEM 问答（31.3 万样本）：

  • 任务：从 StackExchange 数据集中筛选出涵盖广泛技术和科学主题的问题。通过基于 LLM 的过滤，仅保留那些有客观正确答案的问题，排除基于意见的查询，并仅保留需要真正推理而非简单记忆信息的问题。
  • 验证器：LLM 评判器通过将回答与最高赞答案进行比较来评分。
  • 任务数据集：PrimeIntellect/stackexchange-question-answering

合成代码理解任务（6.1 万样本）：

  • 任务：完全合成的任务，目标是在给定代码和字符串输入的情况下，预测执行字符串转换的代码的输出。本文通过 LLM 提示生成任意字符串处理函数，并使用类似于 evol-instruct 的方案递归增加其复杂性。输入包括随机字符串和新闻文章片段，真实输出通过执行生成的代码获得。
  • 验证器：LLM 预测的输出字符串直接与真实输出字符串进行比较，当完全匹配时判定为正确。
  • 任务数据集：PrimeIntellect/synthetic-code-understanding

110k开源R1数据集

HF: https://huggingface.co/datasets/Congliu/Chinese-DeepSeek-R1-Distill-data-110k
MS: https://modelscope.cn/datasets/liucong/Chinese-DeepSeek-R1-Distill-data-110k
该数据集为中文开源蒸馏满血R1的数据集，数据集中不仅包含math数据，还包括大量的通用类型数据，总数量为110K。

Math：共计36987个样本，
Exam：共计2440个样本，
STEM：共计12000个样本，
General：共计58573，包含弱智吧、逻辑推理、小红书、知乎、Chat等。

参考：开源中文DeepSeek-R1（满血）蒸馏数据集-110K

open-r1/OpenR1-Math-220k数学数据

链接：https://www.modelscope.cn/datasets/open-r1/OpenR1-Math-220k
OpenR1-Math-220k是一个用于数学推理的大规模数据集。它由22万个数学问题组成，DeepSeek R1为NuminaMath 1.5中的问题生成了两到四个推理轨迹。

金融推理数据

使用DeepSeek-R1为金融数据集生成推理轨迹（例如，股票价格预测、风险分析），并将这些知识蒸馏成一个金融领域知识较小模型finance-LLM，这块可以参考rehttps://medium.com/@prabhudev.guntur/how-to-distill-deepseek-r1-a-comprehensive-guide-c8ba04e2c28c

Magpie-Reasoning-V2数据集

1、Magpie-Reasoning-V2数据集，其中包含DeepSeek-R1生成的250K思路链推理样本，这些示例涵盖了数学推理、编码和一般问题解决等各种任务。https://huggingface.co/datasets/Magpie-Align/Magpie-Reasoning-V2-250K-CoT-Deepseek-R1-Llama-70B

Dolphin-R1

2、Dolphin-R1，包含80万个样本的数据集，其中的数据来自DeepSeek-R1和Geminiflash的生成结果，同时还有来自Dolphinchat的20万个样本。https://huggingface.co/datasets/cognitivecomputations/dolphin-r1，https://modelscope.cn/datasets/AI-ModelScope/dolphin-r1

R1-Distill-SFT

3、R1-Distill-SFT，有17000个样本，目的是创建数据以支持Open-R1项目，https://huggingface.co/datasets/ServiceNow-AI/，https://modelscope.cn/datasets/ServiceNow-AI/R1-Distill-SFT

NuminaMath-TIR工具类数据集

4、NuminaMath-TIR，工具类数据集。 https://www.modelscope.cn/datasets/AI-MO/NuminaMath-TIR，

NuminaMath-CoT数学题

5、NuminaMath-CoT，大约86万道数学题，每个解题过程都以“思维链”方式呈现。 https://www.modelscope.cn/datasets/AI-MO/NuminaMath-CoT

BAAI-TACO代码生成数据

6、BAAI-TACO，代码生成的基准，包含26443个问题。 https://modelscope.cn/datasets/BAAI/TACO

OpenThoughts-114k合成数据

7、OpenThoughts-114k，开放的合成推理数据集，包含11.4万个高质量样本，涵盖数学、科学、代码和谜题等领域。 https://modelscope.cn/datasets/open-thoughts/OpenThoughts-114k

Bespoke-Stratos-17k数据

8、Bespoke-Stratos-17k，对伯克利Sky-T1数据的复制，使用DeepSeek-R1创建了一个包含问题、推理过程和答案的数据集。 https://modelscope.cn/datasets/bespokelabs/Bespoke-Stratos-17k

clevr_cogen_a_train视觉推理数据

9、clevr_cogen_a_train，R1蒸馏视觉推理数据集。 https://huggingface.co/datasets/leonardPKU/clevr_cogen_a_train)-AR1-distilledvisualreasoningdataset.

S1k数据

10、S1k，训练S1模型的数据集，https://huggingface.co/datasets/simplescaling/s1K

Reference

[1] Open-R1：https://github.com/huggingface/open-r1
[2] r1 sft数据：shaafsalman/R1-Distill-SFT_merged_qa_dataset_1.1
[3] 让推理大模型如何思考很重要：回溯DeepSeek-R1中11个数据问题

LLM大模型中文开源数据集集锦（三）
素质云笔记
05-16 4796
头两篇在写【】和【然后笔者自己也测试了一把ChatGLM的P-Tuning V2在【】感觉。
LLM - 大模型构建 Reasoning 推理数据集(OpenR1-Math-220k) 教程
AGI
03-07 600
使用蒸馏的推理(Reasoning)数据集，进行模型微调(SFT)，即使不使用强化学习(RL)，也可以提升大模型的效果。因此，构建合适的推理数据集，就可以训练不同的高性能推理模型。
再看增强大模型推理能力的四种范式及蒸馏微调范式具体实现
2401_85325726的博客
02-11 832
本文主要回顾了增强大模型推理能力的四种范式以及使用蒸馏微调方式进行推理能力蒸馏的数据集、工具以及一个例子。趁热打铁，然后深入进去，能更好的理解技术本身。
LLM漫谈| DeepSeek R1 微调指南
2401_85343303的博客
03-10 1029
在本文中，我们将深入探讨使用 Python 微调 DeepSeek R1模型的过程。一、先决条件：unsloth：可以使 Llama-3、Mistral、Phi-4 和 Gemma 等大型语言模型的微调速度提高了 2 倍，使用的内存减少70%，关键是准确性没有降低！torch：使用 PyTorch 进行深度学习的基本构建块，它提供了一个强大的张量库，类似于 NumPy，但它具有 GPU 加速的额外优势，这在使用 LLMs的时候，非常关键。
Magpie: 一种创新的大语言模型对齐数据生成方法
2401_87189860的博客
10-23 1259
为了比较Magpie数据与其他公开的指令数据集,研究人员使用不同的数据集对Llama-3-8B-Base模型进行了微调,并评估了微调后模型的性能。结果表明,在某些任务中,使用Magpie数据微调的模型性能可以与官方的Llama-3-8B-Instruct相媲美,尽管后者经过了1000万数据点的监督微调和后续的反馈学习。高质量的指令数据对于对齐大语言模型至关重要,但目前大多数高质量对齐数据集都是非公开的,这在一定程度上阻碍了AI的民主化进程。通过全面分析提取出的数据,他们最终筛选出了30万条高质量的样本。
Visual Reasoning(1): CLEVR Dataset
judgechen1997的博客
06-14 4642
CLEVR: A Diagnostic Dataset for Compositional Language and Elementary Visual Reasoning 这项工作是Visual Reasoning领域的开山之作了~ 李飞飞&FAIR构建了一个新的Reasoning dataset, CLEVR: https://cs.stanford.edu/people/jcjohns/clevr/ 现在的模型很多是直接给出一个答案，而没有中间的推理过程，这使得人们很难分析模型的缺陷，究竟是哪
R1的风吹到多模态领域会是什么效果？ R1-V开源！
2401_85375151的博客
02-08 1026
在deepseek-R1爆火后，R1的风吹到多模态大模型领域！Deep-Agent在qwen2vl-2B 多模型上利用R1技术,在仅在 100 个训练步骤内，OOD 测试中优于 72B 模型，整体成本小于3美元！作者在视觉语言模型中，验证了带和方面均优于链式思维监督微调（CoT-SFT）。通过设计实验，激励视觉语言模型学习可泛化的视觉计数能力，而不是过度拟合训练集。在仅100个训练步骤内，2B模型在OOD测试中表现优于72B模型。训练在8个A100 GPU上进行了30分钟，成本为2.62美元。
博士专家水平的生物物理化学难题数据集GPQA: A Graduate-Level Google-Proof Q&A Benchmark介绍：中英双语
阿正的梦工坊
12-19 1594
GPQA is a challenging multiple-choice Q&A dataset with questions meticulously designed and validated by experts in biology, physics, and chemistry.
Awesome-Code-LLM-deepseek r1
01-27
在处理给定的文件信息时，我们可以看到标题、描述和标签均指向一个名为“deepseek r1”的项目或产品。虽然没有提供具体的内容描述，但从标题和标签的一致性来看，该项目或产品可能专注于深度学习、深度搜索或深度...
DeepSeek系列源码（V3、R1、LLM等）
02-09
这个系列包含了多个版本，从V3、R1到LLM版本，每一个版本都有其独特的功能和改进。这些源码文件不仅对研究者和开发者开放，也适合对人工智能和大模型有兴趣的学习者深入了解和学习使用。 在DeepSeek系列中，VL2版本...
LLM - 开源强化学习框架 OpenR1 的环境配置与训练参数 教程
最新发布
AGI
03-31 726
OpenR1 是一个开源的强化学习框架，复现 DeepSeek-R1 的训练流程，为研究人员和开发者提供了一个完整的推理优化训练工具链。该项目由 Hugging Face 发起，通过开源的方式，详细展示了从知识蒸馏到强化学习，再到多阶段训练的完整过程。OpenR1 包含了用于训练和评估模型以及生成合成数据的脚本，支持 GRPO 训练、监督微调（SFT）等多种训练方法。它还封装了多个开源框架，如 TRL 和 distilabel，方便用户快速上手。
Deepseek-R1-Lite 开源 LLM 完全测试.pdf
02-18
deepseek最新资讯、配置方法、使用技巧，持续更新中
GPQA数据集分享
yinizhilianlove的博客
03-07 2521
该数据集的问题极其难解，即便是在该领域已取得或正在攻读博士学位的专家，正确率也只有65%。而对同等专业背景但不同学科的非专家来说，正确率仅为34%。该数据集难度巨大，现有AI模型如GPT-4在该数据集上的正确率也仅为39%。GPQA数据集的设计考虑到了专家与非专家之间的知识差距。通过让专家编写问题并验证答案的客观性，同时让非专家尝试解决问题，可以确保数据集的问题对于非专家来说是具有挑战性的。尽管AI系统在许多任务上表现出色，但在需要大量专业知识和推理能力的任务上仍然存在局限性。编辑: ShuYini。
LLMs开源模型们和数据集简介
nakaizura
05-25 3649
本篇文章整理下目前常用的LLMs模型们和数据集简介。可以看到目前被广泛用来作为LLMs的backbone的模型有以下特点：- Backbone：基于某个开源backbone，如GLM、LLaMA、BLOOMZ（GPT-style）- Datasets：分为两类Instruction、Conversation- Tuning Strategies：分为两类SFT、RLHF- Optimization：开源项目参数规模一般都不是很大，Params 6/7B、13B
Open R1放出220k高质量DeepSeek R1数据及处理技术细节，冲～
AIBigModel的博客
02-13 1635
Open R1由huggingface出品，当前最火的DeepSeek-R1全开源复现，已经18.8k了，这两天该项目发布了最新进展：开源了包含由 DeepSeek R1生成的用于数学推理的全新大规模数据集OpenR1 -220k-Math合成数据处理技术细节汇总开源社在R1技术上的探索：Unsloth、李飞飞s1、AIME 2025等等社区已经发布了多个开放数据集，包括OpenThoughts-114k、Bespoke-Stratos-17k、Dolphin-R1和LIMO。
为什么开源Open Thoughts 突然火了，借助它能轻易训练出超越一些大模型的小型模型
m0_59164520的博客
02-06 1488
如果你对人工智能、推理任务或者机器学习有一点兴趣，最近我发现了一个超级有意思的开源项目——。它的目标是训练出在数学和代码推理上能超越一些大模型的小型模型。这个项目不仅让人眼前一亮，还能让你感受到开源社区的巨大力量。今天，我就带你一起来看看这个项目是怎么运作的，为什么它值得关注，以及你如何参与进来。
最流行的开源 LLM （大语言模型）整理
互联网架构师笔记
05-19 6026
Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。
一文汇总DeepSeek R1最新复现进展
EnjoyEDU的博客
02-22 1132
自 DeepSeek-R1 发布以来，迅速风靡全球，如今已晋升为国民级产品。此后，全球范围内掀起了一股复现 DeepSeek-R1 的热潮，其中不乏一些亮点纷呈的优秀项目。本文将对这些开源项目中的亮点复现工作进行汇总。接下来我们介绍下复现细节。Open R1 项目由 HuggingFace 发起，联合创始人兼 CEO Clem Delangue 是这么说的：这个项目的目的是构建 R1 pipeline 中缺失的部分，以便所有人都能在此之上复制和构建 R1。
覆盖数学/代码/科学/谜题，高质量推理数据集汇总，助力复现DeepSeek超强推理能力
HyperAI超神经
02-28 896
Dolphin-R1 推理数据集包含约 80 万个样本，数据来源包括 DeepSeek-R1、Gemini Flash 以及 Dolphin Chat 提供的 20 万个样本，旨在为训练类似 DeepSeek-R1 的推理模型提供高质量的样本。LIMO 数学推理基准数据集仅包含了 817 个高质量数学推理样本，旨在通过精心挑选高质量的训练样本，训练和评估大模型的数学推理能力，该数据集主要用于训练大模型的数学解题能力，提升其在数学考试、竞赛题目（如 AIME、MATH-500 等）上的表现。
MindSpeed-LLM适配 deepseek_r1_distill_qwen
02-19
### MindSpeed-LLM与DeepSeek_R1_Distill_Qwen模型适配 为了实现MindSpeed-LLM对deepseek_r1_distill_qwen的支持，主要工作集中在权重转换以及特定架构调整上。考虑到MindSpeed-LLM已经具备良好的灵活性和支持多种大型语言模型的能力[^4]，对于新引入的deepseek_r1_distill_qwen模型来说，关键在于确保其结构特性被正确识别并映射至目标环境中。 #### 权重转换过程 针对deepseek_r1_distill_qwen这类特殊设计的大规模预训练模型，在将其迁移到MindSpeed- 注册昇腾社区账号，并获取最新的mindspeed-llm镜像文件。 - 创建运行容器实例，配置好Ascend环境变量以便后续操作顺利进行。 2. **源码定制化修改** 由于不同模型可能存在内部机制上的差异，因此可能需要针对性地调整某些模块以更好地匹配目的端的要求。具体而言，可能会涉及到如下两个方面的改动： - 修改`rotary_pos_embedding.py`中的位置编码逻辑，使其更加贴合deepseek_r1_distill_qwen特有的嵌入方式。 - 调整`checkpointing.py`有关检查点保存策略的部分代码，保证整个过程中不会丢失任何重要的中间状态信息。 3. **权值加载与验证** 从modelscope或其他可信渠道下载官方发布的deepseek_r1_distill_qwen预训练权重文件后，按照既定流程实施转换作业。此环节结束后应当进行全面测试，确认所有组件均正常运作无误。 ```python from mindspeed_llm import load_model_weights, verify_conversion # 假设已准备好相应的路径和配置项 load_model_weights('path/to/deepseek_r1_distill_qwen', 'target_format') verify_conversion() ``` 通过上述步骤，理论上可以实现mindsped-llm环境下对deepseek_r1_distill_qwen的有效支持。不过值得注意的是，实际应用场景中还需考虑更多细节因素的影响，比如性能调优等方面的工作也必不可少。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

山顶夕景

小哥哥给我买个零食可好

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值