Deepseek-R1性能指标

最新推荐文章于 2025-02-22 21:34:12 发布
最新推荐文章于 2025-02-22 21:34:12 发布
阅读量3.1k 收藏 17
点赞数 28
分类专栏： agent 论文解读 文章标签： 人工智能 agent
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41472205/article/details/145384683
版权

目录

Figure

在这里插入图片描述

基准测试任务

1. AIME 2024 (Pass@1)

主要衡量模型在数学竞赛题目上的解题能力。

  • DeepSeek-R1 的表现为 79.8%，略高于 OpenAI-o1-1217（79.2%），但优于 OpenAI-o1-mini（72.6%）和 DeepSeek-V3（63.6%）。
  • OpenAI-o1-mini 在该任务上的表现最弱（39.2%）。

2. Codeforces (Percentile)

评估模型在编程竞赛环境中的排名。

  • DeepSeek-R1 取得 96.3%，仅比 OpenAI-o1-1217（96.6%）略低，但显著优于 DeepSeek-R1-32B（90.6%）和 OpenAI-o1-mini（93.4%）。
  • DeepSeek-V3 的表现相对较弱（58.7%）。

3. GPQA Diamond (Pass@1)

衡量模型在高难度通用知识问答（General-Purpose Question Answering）任务上的解答能力。

  • DeepSeek-R1 取得 71.5%，略低于 OpenAI-o1-1217（75.7%），但比 DeepSeek-V3（62.1%）和 OpenAI-o1-mini（60.0%）表现更好。

4. MATH-500 (Pass@1)

评估模型在数学题目上的准确性。

  • DeepSeek-R1 的表现最高（97.3%），超过 OpenAI-o1-1217（96.4%）、DeepSeek-R1-32B（94.3%），比 OpenAI-o1-mini（90.2%）和 DeepSeek-V3（90.0%）高出不少。

5. MMLU (Pass@1)

该任务测试模型在多学科知识上的表现。

  • DeepSeek-R1 的表现为 90.8%，略低于 OpenAI-o1-1217（91.8%），但比 DeepSeek-R1-32B（87.4%）、OpenAI-o1-mini（85.2%）和 DeepSeek-V3（88.5%）更优。

6. SWE-bench Verified (Resolved)

衡量模型在软件工程任务中的能力。

  • DeepSeek-R1 的分数为 49.2%，略高于 OpenAI-o1-1217（48.9%），远高于 OpenAI-o1-mini（41.6%）和 DeepSeek-V3（42.0%），但仍然是所有任务中整体表现最弱的。

论文链接：https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf

DeepSeek-R1 论文阅读 DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
CSPhD-winston的博客
02-14 1203
和。这些模型的核心创新点是通过强化学习（Reinforcement Learning, RL）来提升大型语言模型（LLM）的推理能力，而没有依赖传统的监督微调（Supervised Fine-Tuning, SFT）作为预训练的步骤。是一种通过大规模强化学习直接训练的模型。它在推理能力上表现出色，能够自然地展现出许多强大且有趣的推理行为。但它也有一些问题，比如可读性差和语言混合。这意味着模型在生成文本时，有时会显得不太清晰，或者不一致地使用不同语言。为了解决这些问题并进一步提升推理能力，研究者提出了。
DeepSeek掘金——DeepSeek-R1微调指南
最新发布
03-03 3496
在这篇博文中，我们将逐步指导你在消费级 GPU 上使用 LoRA（低秩自适应）和 Unsloth 对 DeepSeek-R1 进行微调。微调像 DeepSeek-R1 这样的大型 AI 模型可能需要大量资源，但使用正确的工具，可以在消费级硬件上进行有效训练。让我们探索如何使用 LoRA（低秩自适应）和 Unsloth 优化 DeepSeek-R1 微调，从而实现更快、更具成本效益的训练。DeepSeek 的最新 R1 模型正在设定推理性能的新基准，可与专有模型相媲美，同时保持开源。
阿里通义 QwQ 登场：开源 AI 推理新王，MATH 测试超 OpenAI o1
2401_85375298的博客
11-29 3766
阿里巴巴通义千问团队今日正式发布实验性研究模型 QwQ-32B-Preview，并配以博文《QwQ: 思忖未知之界》详解其设计理念与性能表现。作为一款专注数学与编程推理的开源大模型，QwQ-32B-Preview 成为全球首个以宽松许可（Apache 2.0）提供的同类领先模型，并在多个基准测试中超越 OpenAI 的 o1-preview 模型。阿里团队将 QwQ 比喻为“探索未知领域的学徒”，具备在复杂数学、编程推理中的优异表现，尤其在深度逻辑与科学问题的解决上表现突出。
DeepSeek R1模型解读与使用
热门推荐
2401_85549225的博客
01-22 1万+
下面有个图表，这里可以重点关注DeepSeek-R1-Distill-Qwen-32B这个模型，这也是他们官方标注的，基座采用了Qwen32B的模型，在数学，代码，复杂问题的测试集中跟o1-mini一个水准，远高于GPT4o，Claude3.5-Sonnet，DeepSeek-V3。相比国内的推理模型，价格不算便宜，但性能目前确实最好的，通义千问QWQ预览版输入价格3.5元/百万tokens，输出7元/百万tokens，智谱GLM-ZERO预览版，输入输出10元/百万tokens。这是官方的性能评测图。
5分钟看看DeepSeek-R1做过的那些基准测试题(中）
a1966565的博客
02-22 1957
FRAMES 是由 Google 与 Harvard University 联合发布 的综合评估数据集，核心目标是评测大语言模型（LLMs）在 统一框架中跨文档检索、多步骤推理与生成任务 的协同能力。该基准通过模拟真实场景（如金融分析、学术研究等），要求模型整合 多源异构数据（文本、表格、代码片段等）完成复杂任务。
从老外视角来仰慕DeepSeek V3的强大
m0_56255097的博客
12-30 2619
去年，DeepSeek LLM 以其令人印象深刻的670亿参数，在英文和中文理解方面，经过精心训练的2万亿个token的庞大数据集引起了轰动。DeepSeek 通过开源其7B/67B基础和聊天模型，为研究合作树立了新的基准，深入植根于AI社区。现在，如果我告诉你有一个拥有6850亿参数的AI，它在AI领域的几乎所有模型中表现优异，并且是开源的，听起来是不是很吸引人？DeepSeek 通过发布 DeepSeek V3 迈出了巨大的一步，由中国实验室开发的DeepSeek，将AI创新的界限推向了更远。
MATH-500数据集
01-16
MATH-500：包含500个测试样本的MATH评测集，全面考察数学解题能力。
自动评估基准 | 技巧与提示
weixin_55010563的博客
01-01 1909
此外你可能还注意到多数投票准确性比 \(N=1\) 和 \(N=2\) 的 0-样本 CoT 基线差，这是因为我们的采样温度为 \(T=0.8\)，这使得我们不太可能在少量几个结果中得到正确候选答案。如下所示，结果相当惊人: 在 \(N=4\) 的推理时预算下，波束搜索的精度与拔萃法在 \(N=16\) 时的精度相同，即计算效率提高了 4 倍！其中 \(y^*(q)\) 是问题 \(q\) 的解，\(\theta_{q,a^*(q)}^*(N)\) 表示计算最优缩放策略。
DeepSeek-R1与Kimi k1.5深度分析：大模型进化的4大趋势！
hunteritself的博客
01-21 1万+
DeepSeek-R1与Kimi k1.5深度分析：大模型进化的4大趋势！
DeepSeek-R1-技术文档
晓的博客
02-12 1444
模型介绍：DeepSeek - R1 - Zero：通过大规模强化学习训练，不依赖监督微调作为前期步骤，展现出卓越的推理能力，在强化学习过程中自然产生了许多强大且有趣的推理行为。但它存在一些缺陷，比如生成内容可读性欠佳，出现语言混杂的情况。DeepSeek - R1：为解决DeepSeek - R1 - Zero的问题并进一步提升推理性能而开发。在进行强化学习之前，采用了多阶段训练和冷启动数据的方法。在推理任务方面，其性能可与OpenAI - o1 - 1217相媲美。开源支持：为推动研究社区的发展，团队决
智能推理的革命：DeepSeek-R1 深度解析其算法与实现
步子哥的博客
01-26 5257
DeepSeek-R1的成功，标志着LLMs在推理能力上的一次质的飞跃。通过创新性的强化学习训练方法，DeepSeek-R1不仅在多个推理任务中展现出卓越的性能，更为未来的LLMs研究指明了新的方向。随着团队在多语言处理、通用能力和软件工程任务等方面的持续努力，DeepSeek-R1有望在更多领域中发挥关键作用，成为引领AI前沿的璀璨明星。
【技术报告解读】DeepSeek-R1：通过强化学习激励LLMs的推理能力
AI天才研究院
02-05 1308
我们介绍第一代推理模型、DeepSeek-R1-Zero和DeepSeek-R1。DeepSeek-R1-Zero，通过大规模强化学习 (RL) 训练的模型，无需超级微调 (SFT) 作为初步步骤，展示了卓越的推理能力。通过RL，DeepSeek-R1-Zero自然地出现了许多强大而有趣的推理行为。然而，它面临着可读性差、语言混合等挑战。为了解决这些问题并进一步提高推理性能，我们引入了DeepSeek-R1，它在RL之前整合了多阶段训练和冷启动数据。
【Deepseek】大语言模型评测指标详解
AI新纪元，探索新时代
01-04 2310
加入我的知识星球，了解更多AI前沿资讯和教程：https://t.zsxq.com/0XkAj。EM (Exact Match)：答案完全正确的比率。EM (Exact Match)：完全匹配的准确率。特点：包含各类数学题目，测试数学推理能力。评测内容：专业领域的多任务语言理解能力。特点：测试模型解决实际编程问题的能力。评测内容：美国数学邀请赛级别的数学题。评测内容：编程竞赛平台的问题解决能力。Resolved：成功解决的问题比率。评测内容：通用编程问题解决能力。评测内容：高等数学问题解决能力。
R1类模型推理能力评测手把手实战
xx_nm98的博客
02-14 1315
通过这个流程，开发者可以有效地评测R1类模型在多个数学和科学推理数据集上的表现，从而客观评估具体模型的实际表现，共同推动R1类模型的进一步发展与应用。
检验大模型数学推理能力，司南发布全新评测指标与评测集
OpenCompass的博客
12-31 1253
与此同时，当前模型的性能潜力和实际表现之间存在显著的差距，一些模型在单次任务上表现出高准确率，但在保持一致高准确率方面却不稳定，远未达到最佳性能，如何在保持接近最佳性能的同时确保输出的稳定性，或将成为强推理领域的重点突破方向。近日，大模型开放评测体系司南（OpenCompass）推出评测指标G-Pass@k及数学评测集LiveMathBench，旨在客观地检验大模型的数学推理能力，为行业提供更加精准可信的评测结果，助力强推理模型性能提升，加速大模型在高难度推理场景中的落地应用。次生成正确答案的概率。
重磅: OpenAI的新模型o1它来了！“GPT5”在美国奥数比赛跻身全美前500
star_nwe的博客
09-13 1104
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
万字长文详解DeepSeek-R1模型工作原理
强化学习曾小健
02-06 2054
以往的研究通常依赖大量监督数据来提升模型性能。DeepSeek证明了即使不使用监督微调作为冷启动，通过大规模强化学习依然可以显著提升模型的推理能力。此外，适量冷启动数据的引入可以进一步提高性能。
揭秘o1类模型的过度思考：明明只需5个token,它偏要用900个?
yanqianglifei的专栏
01-01 1165
这篇论文探讨了一类被称为“o1-like”的大型语言模型（LLMs）在推理过程中存在的问题，即“overthinking”（过度思考）。这些模型在处理问题时，尤其是简单问题，会分配过多的计算资源，而这种过度的资源分配对于提高答案的准确性几乎没有帮助。过度思考现象o1-like模型在处理简单问题时，会生成过多的解决方案和思考步骤，这导致了计算资源的浪费。资源利用效率：如何智能且高效地在测试期间扩展计算资源，尤其是在面对不同复杂度的问题时。评估和优化模型效率：提出了从结果和过程。
“AI版拼多多”又出手了！DeepSeek放出超重磅全新模型R1：对标o1, 实测超出想象的好，今天可用
加百力 的技术博客
11-21 709
DeepSeek-R1-Lite-Preview 震撼登场！推理能力超强，没有黑盒，实时展示推理思考过程，直接叫板OpenAI的o1-preview！DeepSeek放大招！DeepSeek-R1-Lite-Preview 震撼登场！推理能力超强，没有黑盒，实时展示推理思考过程，直接叫板OpenAI的o1-preview！
DeepSeek-R1微调
01-23
### 对 DeepSeek-R1 进行微调的方法 对于希望改进特定领域性能或适应新应用场景的开发者来说，对预训练的语言模型如 DeepSeek-R1 进行微调是一个有效的方式。以下是针对 DeepSeek-R1 的具体方法： #### 准备工作 确保已经安装了必要的库和工具包来处理大型语言模型。通常情况下，Hugging Face Transformers 库是最常用的选项之一。 #### 获取基础模型 由于 DeepSeek-R1 已经被宣布开源[^1]，可以从官方渠道下载对应的权重文件用于本地部署或者云服务环境中的实例化操作。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "deepseek-ai/DeepSeek-R1" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) ``` #### 数据准备 收集并整理好目标领域的标注数据集，这些数据应该能够代表预期的应用场景，并且具有足够的多样性以覆盖各种可能的情况。考虑到 DeepSeek-R1 是一个多阶段训练的结果，在某些复杂任务上可能会受益于更精细的数据设计[^2]。 #### 微调配置 定义超参数设置，包括但不限于批量大小、学习率、优化器类型等。根据实际硬件条件调整 batch size 和 epochs 数量，以便获得更好的收敛效果而不至于耗尽计算资源。 ```python training_args = TrainingArguments( output_dir='./results', num_train_epochs=3, per_device_train_batch_size=4, per_device_eval_batch_size=4, warmup_steps=500, weight_decay=0.01, logging_dir='./logs', ) trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=test_dataset, tokenizer=tokenizer, ) ``` #### 开始微调 利用上述准备工作完成之后就可以启动微调流程了。注意监控训练过程中各项指标的变化趋势，及时发现潜在问题并作出相应调整。 ```python trainer.train() ``` #### 测试与验证 经过一轮或多轮迭代后，应当仔细检验最终版本的表现情况，特别是对比未经过任何修改的基础版 DeepSeek-R1 是否有所改善。如果有必要的话还可以继续探索不同的策略组合直至满意为止。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值