DeepSeek：LLM通过反馈做强化学习和树搜索

最新推荐文章于 2025-03-01 19:05:35 发布
最新推荐文章于 2025-03-01 19:05:35 发布
阅读量1.1k 收藏 18
点赞数 29
分类专栏： 大模型-模型训练 大模型-指令建设 文章标签： 人工智能 自然语言处理 语言模型 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46739757/article/details/141721514
版权

在这里插入图片描述

📖标题：DeepSeek-Prover-V1.5: Harnessing Proof Assistant Feedback for Reinforcement Learning and Monte-Carlo Tree Search
🌐来源：arXiv, 2408.08152

摘要

我们介绍了DeepSeek-Prover-V1.5，这是一个开源的语言模型，专门为Lean 4中的定理证明而设计，通过优化训练和推理过程来增强DeepSeek-Prover-V1。该模型在DeepSeekMath-Base上进行了预训练，专门针对正式数学语言进行了优化，然后使用从DeepSeek-Prover-V1衍生的增强形式定理证明数据集进行监督微调。通过证明助手反馈的强化学习（RLPAF），进一步对模型进行了优化。除了DeepSeek-Prover-V1的单遍完整证明生成方法，我们提出了RMaxTS，这是一种蒙特卡罗树搜索的变体，采用内在奖励驱动的探索策略来生成多样的证明路径。DeepSeek-Prover-V1.5比DeepSeek-Prover-V1有了显著的提升，在高中水平的miniF2F基准测试的测试集上实现了新的最先进结果（63.5%），并在本科水平的ProofNet基准测试中取得了25.3%的成绩。

🛎️文章简介

🔸研究问题：如何提高大语言模型࿰

最低0.47元/天 解锁文章
【技术报告解读】DeepSeek-R1：通过强化学习激励LLMs的推理能力
AI天才研究院
02-05 1317
我们介绍第一代推理模型、DeepSeek-R1-Zero和DeepSeek-R1。DeepSeek-R1-Zero，通过大规模强化学习 (RL) 训练的模型，无需超级微调 (SFT) 作为初步步骤，展示了卓越的推理能力。通过RL，DeepSeek-R1-Zero自然地出现了许多强大而有趣的推理行为。然而，它面临着可读性差、语言混合等挑战。为了解决这些问题并进一步提高推理性能，我们引入了DeepSeek-R1，它在RL之前整合了多阶段训练和冷启动数据。
DeepSeek-R1 技术报告：通过强化学习提升 LLMs 的推理能力
m0_59082437的博客
02-11 1492
前期相关研究表明强化学习在推理任务中展现了显著的有效性。然而，这些研究高度依赖于监督数据，而收集这些数据耗时且成本高昂。在本节中，探讨了 LLMs 在无需任何监督数据的情况下通过纯强化学习过程实现推理能力自我进化的潜力。
LLM前沿动态抢先看：如何提升大型语言模型的推理能力？
AI_Conf的博客
04-11 1276
在受到人类反馈的强化学习（RLHF）成功启发下，作者研究了多种从反馈中学习的算法（包括专家迭代、近端策略优化（PPO）和基于回报的强化学习），以改进语言模型的推理能力。文中研究了模型在稀疏和密集奖励下，如何通过启发式方法和通过学习得到的奖励模型进行学习。此外，研究还从不同大小的模型和初始化开始，包括有监督的微调（SFT）数据和没有SFT数据的情况。
DeepSeek-R1：通过强化学习激励大语言模型中的推理能力
AI前沿技术的分享！
01-21 3135
我们推出了第一代推理模型——DeepSeek-R1-Zero 和 DeepSeek-R1。DeepSeek-R1-Zero 是通过大规模强化学习（RL）训练而成，没有经过监督微调（SFT）作为初步步骤，却展现出卓越的推理能力。通过 RL，DeepSeek-R1-Zero 自然地涌现出许多强大而有趣的推理行为。然而，它也面临着可读性差、语言混合等挑战。为了解决这些问题并进一步提高推理性能，我们引入了 DeepSeek-R1，它在 RL 之前加入了多阶段训练和冷启动数据。
一文读懂论文：《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》
Joining667的博客
02-13 1415
DeepSeek-R1整篇论文概况一下就是：DeepSeek团队为实现提高和改进AI模型的推理和思考能力，基于基础模型DeepSeek-V3-Base，使用其独创的"GRPO"纯强化学习方法，直接在该基础模型上应用RL，颠覆之前的监督微调的方式，无需任何的监督微调数据，训练出了性能极佳的DeepSeek-R1-zero模型。但训练出DeepSeek-R1-zero存在两个问题，即可读性差和语言混杂。为了解决这些问题并进一步提升推理性能，DeepSeek进一步开发了DeepSeek-R1。
Deepseek的核心是强化学习？哪什么是强化学习？通俗解释与专业解读
simoncool23的博客
02-08 1151
强化学习是一种序列决策框架，其目标是让智能体（Agent）通过与环境（Environment）的交互，学习一种策略（Policy），使得长期累积奖励（Reward）最大化。与监督学习（如行为克隆）不同，RL不依赖预先标注的“正确动作”，而是通过试错和反馈动态优化策略。
一文搞懂DeepSeek - 强化学习和蒸馏
Code1994的博客
02-04 2166
通过在基础模型上直接应用大规模强化学习，成功开发出具备自我验证和长思维链等推理能力的DeepSeek-R1。。同时证明了大模型的推理模式可被有效蒸馏到小模型中，实现性能显著提升。
一文搞懂DeepSeek - 强化学习和蒸馏，收藏一篇就够了！！
2401_85327249的博客
02-07 2082
DeepSeek-R1在Introduction部分提到，R1通过结合冷启动数据、多阶段训练管道和纯强化学习，显著提升了大型语言模型的推理能力，实现了与OpenAI的o1系列模型相当的性能，并通过蒸馏技术将推理能力传递给更小的模型。
大型语言模型推理能力增强：通过强化学习构建与开源DeepSeek-R1及其衍生小模型
01-30
DeepSeek团队首先推出了纯基于大规模强化学习（RL）、不经过监督精调（SFT）训练的第一代无指导推理模型DeepSeek-R1-Zero。尽管在一些方面表现出了出色的推理性能，但该模型存在文本可读性和语言混淆的问题。为此，...
来自DeepSeek：形式化证明的RL框架
weixin_42619619的博客
08-26 554
同时，为了进一步保证模型在接下来生成的证明步骤即过程的准确性，在提示符末尾处增加了来自于lean 4的最新状态作为注释（这里也巧妙的实现了将形式化语言与自然语言的对齐，文中也前瞻性的阐释了两种语言对于推理决策的不同思维链路模式）另外，文中将截断和恢复机制集成进类MCTS中，其中截断点由树搜索策略进行调度并提出了reward-free exploration策略来解决形式证明的奖励稀疏性问题，引入并融合搜索内在动机使其可广泛地探索证明状态空间，即文中的RMaxTS～
Deepseek-强化学习算法（通俗易懂版）
qq_56734304的博客
02-23 1334
首先先贴一张Deepseek核心技术的梳理图：上图详细了讲述了Deepseek主要在哪些阶段用了强化学习方法（GRPO）
详解DeepSeek-R1核心强化学习算法：GRPO
m0_59164520的博客
02-04 3656
在目前大语言模型中进行微调的流程中，一般在监督微调（Supervised Fine-Tuning, SFT）阶段之后，进一步通过强化学习对模型进行优化可以显著提升其性能。而Group Relative Policy Optimization (GRPO)，就是使用在该阶段，替换传统的PPO算法。Proximal Policy Optimization (PPO) 是一种广泛使用的强化学习算法，尤其适用于对 LLMs 进行微调。
解决复杂的 LLM 决策-制定问题，使用语言代理树搜索 (LATS) & GPT-4o
数智笔记
09-03 976
的传统方法不同，LLM 可以通过根据上下文预测潜在的结果、策略或行动动态生成解决方案空间中的新分支。这一能力使 LLM 不仅能在问题空间中导航，还能扩展问题空间，使它们在问题结构尚不完全明确、持续演变或高度复杂的情况下尤其强大。
手把手带你搞懂Deepseek-V3 低成本知识库，收藏这一篇就够了！！
热门推荐
2401_85325397的博客
01-20 1万+
1 可以通过 api 添加各种模型 2 上传文档就能本地新建知识库 3 各种 AI 工具直接打开 4 知识库配合 deepseek 3 ，加上 COT 提示词 效果不错 5 还能画图 6 有简单 Artifacts 功能，直接渲染代码 7 可以多个模型一起回答问题，就是样式是直接铺下来的。
强化学习与 DeepSeek：实现智能体训练的最佳实践
最新发布
一碗黄焖鸡三碗米饭的博客
03-01 467
自定义环境类# 解析动作生成答案# 初始化智能体value_model=None # GRPO无需独立CriticDeepSeek通过开源策略和算法-硬件协同优化，使得单卡GPU即可运行百亿参数模型。是否需要专业RL知识？是 → 使用DeepSeek-RL高级API否 → 直接调用预训练智能体库期待看到更多开发者创造突破性的智能体应用！
通过奖励引导树搜索增强大模型(LLM)的推理能力，原理介绍与代码实现
微学AI的博客
11-22 999
对于任何强化学习框架而言，选择合适的奖励函数都是至关重要的一步。在本场景下，理想中的奖励模型应当能够准确捕捉到用户对于不同响应之间的偏好程度差异，并据此给出相应的分数作为评价标准。具体实现方式可以是让模型参与对话互动实验收集真实反馈数据，也可以采用专家打分、众包标注等方式获取标签信息。奖励引导树搜索（Reward-Guided Tree Search, RGTS）是一种旨在提高语言模型输出质量的技术，它通过引入外部反馈机制来指导搜索过程。
DeepSeek 全面指南！入门 DeepSeek 必看！（建议收藏）
2401_85343303的博客
02-07 1174
深度求索智能助手（DeepSeek-R1）简介: 深度求索智能助手是由深度求索（DeepSeek）公司开发的人工智能助手，专注于通过自然语言交互提供精准、高效的信息服务与解决方案。基于先进的深度学习技术和多领域知识库，能够处理复杂问题、生成创意内容，并适配多样化场景需求。特点:多语言与多领域支持：覆盖科技、教育、文化、生活等领域，支持中英文等多语言交互。实时信息整合：可联网搜索最新信息，结合知识库提供动态更新的答案（需联网模式下使用）。
DeepSeek-Prover-V1.5翻译
nopSled
08-26 859
大型语言模型的最新进展对人工智能中的数学推理和定理证明产生了重大影响。尽管在自然语言领域取得了显著进展，但语言模型在形式化定理证明方面仍然面临巨大挑战，例如使用 Lean 和 Isabelle，这需要严格的推导以满足验证系统的形式化规范。即使是像 GPT-4 这样的高级模型也难以应对复杂的形式化证明，这凸显了所涉及的编码和数学的复杂性。形式化定理证明模型不仅必须掌握像 Lean 定理证明器这样的形式系统的语法和语义，还必须将抽象的数学推理与精确的形式化表示结合起来。
【论文阅读】DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
qq_41502855的博客
01-21 3980
此外，DeepSeek-R1-Zero在MATH-500上的得分为95.9%，在GPQA Diamond上的得分为73.3%，在LiveCodeBench上的得分为50.0%。：DeepSeek-R1-Distill-Qwen-7B在AIME 2024上的得分为55.5%，超过QwQ-32B-Preview。DeepSeek-R1-Distill-Qwen-32B在AIME 2024上的得分为72.6%，在MATH-500上的得分为94.3%，在LiveCodeBench上的得分为57.2%。
Deepseek：构建AI大模型技术体系并重塑全球AI生态
对于对人工智能、特别是大语言模型技术有兴趣的研究者和从业者来说，本文不仅提供了详尽的技术介绍，还包括了Deepseek如何帮助企业提高业务效能的实际应用实例，从而为从业者们提供了丰富的学习资源。 在标签方面，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大模型任我行

随意啦，喜欢就好~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值