[Arxiv 2025] L1: Controlling How Long A Reasoning Model Thinks With Reinforcement Learning

于 2025-04-29 21:00:40 发布
阅读量798 收藏 24
点赞数 24
文章标签： Arxiv 2025
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42437114/article/details/147618717
版权

Contents

Introduction

  • 作者提出 Length Controlled Policy Optimization (LCPO)，使用 GRPO 将推理模型的生成长度控制在指定 budget 以内，由此训练得到的 L1 模型兼具 long-CoT 和 short-CoT 能力，能够通过指定不同的 budget 很好地实现精度和推理效率之间的平衡
  • 值得一提的是，新发布的 Qwen-3 也实现了类似的效果，用户可以自由指定推理中使用的 budget
    在这里插入图片描述

Method

  • 用户给定 prompt x i n e w x_i^{new} xinew​，LCPO 需要模型的输出长度 n y n_y ny​ 满足其中给定的 budget n g o l d , i n_{gold,i} ngold,i​
    在这里插入图片描述
  • L1-Exact. L1-Exact 采用 GRPO 优化如下的目标函数，使得模型输出长度尽可能接近给定 budget. 长度惩罚项为 L1 损失函数
    在这里插入图片描述其中，训练时的 n g o l d n_{gold} ngold​ 均匀采样自 100 ∼ 4000 100\sim 4000 100∼4000
  • L1-Max. L1-Max 约束模型输出长度少于 budget，这个设定相比 L1-Exact 更加合理，用户在使用时通过 budget 设置最大能承担的推理成本，而模型负责在该 budget 以内进行简洁的推理。目标函数如下：
    在这里插入图片描述其中， δ = 0.5 , α = 0.0003 \delta=0.5,\alpha=0 .0003 δ=0.5,α=0.0003. L1-Max 由 L1-Exact 使用上述目标函数续训得到 (Q. 如果不续训可以吗？)

Experiments

  • Models and Datasets. 数据集采用 DeepScaleR-Preview-Dataset，包含 40K 数学题。模型训练基于 DeepScaleR-1.5B-Preview，该模型由 Qwen-Distilled-R1-1.5B 通过强化学习续训得到。训练时最大生成长度 4K，推理时最大生成长度 8K. L1-Exact 训练 700 steps，L1-Max 基于 L1-Exact 继续训练 120 steps；baseline 中的 Agentica-4K 为 DeepScaleR-1.5B-Preview 用 4K 的训练生成长度做了续训，可以看作是 L1 的能力上界

在这里插入图片描述在这里插入图片描述

References

穿越逻辑迷宫：纵横思维的高效之旅
步子哥的博客
03-22 799
从最初的链式思维探索，到如今将冗余思维压缩成精炼隐向量的革新之路，大型语言模型在高效推理领域已经走出了一条走向成熟的发展路线。无论是通过 RL 设计奖励机制，还是利用 SFT 逐步训练变长数据，亦或通过聪明的提示与任务路由实现智能分工，研究者们始终在追求如何让模型既具备深邃逻辑，又能做到言简意赅。未来，高效推理技术不仅将助力自主驾驶、智能机器人、医疗诊断等领域的应用，还能为金融风控、在线搜索、自然语言交互等场景提供更加优质与高效的解决方案。正如一位行走在迷宫中的探险家，通过不断优化路线，终将找到出口；
深度强化学习+大模型综述Survey on Large Language Model-Enhanced Reinforcement Learning
xcs166357的博客
06-03 3735
对 LLM 增强 RL 中现有文献进行了全面的回顾，并总结了其与传统 RL 方法相比的特征，旨在阐明未来研究的研究范围和方向。信息处理器、奖励设计者、决策者和生成器。LLM-enhanced RL是指利用预先训练的知识固有AI模型的多模态信息处理、生成、推理等能力来辅助RL范式的方法。利用具有一般知识的模型，这意味着与其他数据驱动模型相比，该模型在学习过程中具有相当大的能力水平和更好的泛化。此外，LLM 增强的 RL 仍然使用 AI 模型，并且可以通过 RL 交互数据持续学习以提高其能力。
再看如何控制大模型思考时间？从S1预算控制到L1长度约束强化学习
2401_85378759的博客
03-10 1178
本文主要回顾了推理大模型思考时间控制问题回顾，并看了几个工作，都值得一看，无论是使用prompt硬处理，还是使用强化微调，其实都依赖于大模型对数字是敏感的，这其实是不太可控的。并且，大模型推理性能是跟推理是看有关系的，控制之后，是否会带来损失，还需要具体业务问题具体分析。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。
10篇R1相关的研究全面汇总，万字思考！
Datawhale
03-20 740
Datawhale干货 作者：长琴，Datawhale成员本文通过10篇R1相关的研究，介绍R1后LLM的新范式。其核心就是如何进一步增强LLM的能力。本文中的相关阅读，可以在主页找到对应文章：主页地址：https://yam.gift/首先是整体的框架，如下所示。• Base+SFT• R1冷启动• LIMO (817 Data Selection)• s1 (1000)• Base+RL• GRPO: R1-Zero• GRPO: oat-zero (Base can Aha、RL enhance）•
Sebastian Raschka长文：LLM 推理的强化学习现状
强化学习曾小健
04-23 748
如前所述，原始 RLHF 方法使用了强化学习算法 PPO。PPO 的开发是为了提高策略训练的稳定性和效率。在强化学习中，策略仅指我们想要训练的模型；在本例中，策略 = LLM。PPO 背后的一个关键思想是：它限制了策略在每个更新步骤中允许的更改量。这是通过截断损失函数来实现的，有助于防止模型进行过大的更新，从而避免破坏训练的稳定性。此外，PPO 还在损失函数中包含了 KL 散度惩罚。该惩罚项将当前策略（正在训练的模型）与原始 SFT 模型进行比较，鼓励更新结果保持合理的接近。
Sebastian Raschka长文：DeepSeek-R1、o3背后，RL推理训练正悄悄突破上限
AIBigModel的博客
04-22 1146
也就是说，优势计算涉及另外两个模型，这些模型的规模通常与我们正在微调的原始模型相同。他们采用了基础版本的概率策略优化算法（vanilla PPO），而非 DeepSeek-R1-Zero 中所使用的广义随机策略优化算法（GRPO），并省略了强化学习对人类反馈（RLHF）流程中常见的 Kullback-Leibler 正则化项（KL regularization）。有趣的是，论文还发现，这些长链模型在短推理方面的表现也出人意料地好，在相同的 token 长度下，甚至超过了 GPT-4o 等更大的模型。
大语言模型推理的强化学习现状
thomas20的博客
04-25 621
本文以深入浅出的方式，介绍了大语言模型推理中强化学习的最新发展，涵盖推理模型概念定义、RLHF、PPO、GRPO、RLVR 等核心算法与基础概念，分析当前强化学习在推理模型中的应用现状，并对后续研发方向提出推荐与展望，极具参考价值。
[DQN] Playing Atari with Deep Reinforcement Learning
超级超级小天才的博客
06-01 783
论文链接：https://arxiv.org/abs/1312.5602 引用：Mnih V, Kavukcuoglu K, Silver D, et al. Playing atari with deep reinforcement learning[J]. arXiv preprint arXiv:1312.5602, 2013. 概述 Deep Reinforcement Learning (DQN) 是一个 model-free、off-policy 的强化学习算法，使用深度神经网络作为非线性的函数
对抗样本(论文解读十一):PatchAttack: A Black-box Texture-based Attack with Reinforcement Learning
Enjoy_endless
05-08 1996
PatchAttack: A Black-box Texture-based Attack with Reinforcement Learning Chenglin Yang, Adam Kortylewski, Cihang Xie, Yinzhi Cao, and Alan Yuille Johns Hopkins University 通过强化学习实现一个基于纹理的黑盒攻击 这是一篇比较新的对抗块攻击的相关文章，发布于arxiv：2020.04.12, 头几天刚在组会上分享了相关论文，今天在这里简单分
Deep Reinforcement Learning : An Overview(Yuxi Li) 学习笔记
weixin_44412076的博客
03-14 3991
翻译的比较粗糙，仅供参考。 2.2 Deep Learning 深度学习与浅层学习形成对比。对于许多机器学习算法，如线性回归、逻辑回归、支持向量机(SVMs)、决策树和增强等，我们有输入层和输出层，在训练前可以用人工特征工程对输入进行转换。在深度学习中，在输入层和输出层之间有一个或多个隐藏层。在除输入层外的每一层，我们计算每个单元的输入，作为上一层单元的加权和;然后，我们通常使用非线性变换，或...
自学网络结构（一）：Neural Architecture Search With Reinforcement Learning
热门推荐
AI之路
11-13 1万+
论文：Neural Architecture Search With Reinforcement Learning 链接：https://arxiv.org/abs/1611.01578 代码链接：https://github.com/tensorflow/models这是ICLR2017的文章，讲述如果用强化学习（reinforcement learning）来学习一个最优的网络结构。这篇文章
数据聚类分析：Vue3+K-means的可视化方案.pdf
05-14
文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位，文档内容完整、条理清晰。文档内所有文字、图表、函数、目录等元素均显示正常，无任何异常情况，敬请您放心查阅与使用。文档仅供学习参考，请勿用作商业用途。 Vue 3是一款备受瞩目的JavaScript框架，它采用了基于Proxy的响应式系统，显著提升了性能和调试能力。其Composition API带来了更高效的逻辑组织方式，使代码复用变得轻而易举。Tree-shaking支持让打包后的文件体积更小，进一步优化了应用性能。Vue 3还与TypeScript深度集成，提供了更完善的类型推导，让开发过程更加顺畅。无论是构建大型应用还是小型项目，Vue 3都能凭借其出色的性能和灵活的架构，帮助开发者高效完成任务，是现代Web开发的理想选择。
棉花杂质异物检测数据集VOC+YOLO格式266张1类别有增强.docx
05-14
棉花杂质异物检测数据集VOC+YOLO格式266张1类别有增强.docx
ABB机器人仿真工作站：集成教学实训平台，提供真实操作环境与代码控制
05-14
内容概要：本文介绍了ABB机器人仿真工作站，这是一个集成了软件和全部模型的教学实训平台，旨在帮助学生更好地理解和掌握ABB机器人的操作与应用。该工作站提供了一个真实的机器人操作环境，涵盖从简单零件到复杂装配体的丰富模型库，支持用户自定义模型。软件具有高度仿真的特性，能够模拟真实操作环境，支持手动操作和自动编程等多种模式。文中还展示了简单的ABB机器人控制代码示例，通过编写代码可以控制机器人的运动和动作。此外，仿真工作站对教学和实训有重要意义，能帮助学生提前熟悉实际工作中的操作流程并提升编程能力。 适合人群：机械工程专业师生、工业自动化领域的从业人员以及对机器人技术感兴趣的初学者。 使用场景及目标：① 提供真实的机器人操作环境，帮助学生理解ABB机器人的操作与应用；② 支持多种操作模式，满足不同用户的实训需求；③ 通过编写代码，实现机器人的各种动作和操作，提高学生的编程和实践能力。 其他说明：该仿真工作站有助于学生提前适应实际工作环境，增强动手能力和解决实际问题的能力。
TopN成对相似度迁移的三元组跨模态检索.zip
最新发布
05-14
TopN成对相似度迁移的三元组跨模态检索.zip
前端OCR识别：Vue3+Tesseract.js的文本识别方案.pdf
05-14
文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位，文档内容完整、条理清晰。文档内所有文字、图表、函数、目录等元素均显示正常，无任何异常情况，敬请您放心查阅与使用。文档仅供学习参考，请勿用作商业用途。 Vue 3是一款备受瞩目的JavaScript框架，它采用了基于Proxy的响应式系统，显著提升了性能和调试能力。其Composition API带来了更高效的逻辑组织方式，使代码复用变得轻而易举。Tree-shaking支持让打包后的文件体积更小，进一步优化了应用性能。Vue 3还与TypeScript深度集成，提供了更完善的类型推导，让开发过程更加顺畅。无论是构建大型应用还是小型项目，Vue 3都能凭借其出色的性能和灵活的架构，帮助开发者高效完成任务，是现代Web开发的理想选择。
数学公式渲染：Vue3+MathJax的科学文档方案.pdf
05-14
文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位，文档内容完整、条理清晰。文档内所有文字、图表、函数、目录等元素均显示正常，无任何异常情况，敬请您放心查阅与使用。文档仅供学习参考，请勿用作商业用途。 Vue 3是一款备受瞩目的JavaScript框架，它采用了基于Proxy的响应式系统，显著提升了性能和调试能力。其Composition API带来了更高效的逻辑组织方式，使代码复用变得轻而易举。Tree-shaking支持让打包后的文件体积更小，进一步优化了应用性能。Vue 3还与TypeScript深度集成，提供了更完善的类型推导，让开发过程更加顺畅。无论是构建大型应用还是小型项目，Vue 3都能凭借其出色的性能和灵活的架构，帮助开发者高效完成任务，是现代Web开发的理想选择。
STM32F103主机从机源代码例程序范例RS485 ModbusRTU通讯协议资料
05-14
STM32F103是意法半导体（STMicroelectronics）推出的一款基于ARM Cortex-M3内核的微控制器，广泛应用于工业控制、物联网设备等领域。本资料包主要提供了STM32F103在实现RS485通信及Modbus RTU协议的主机和从机模式下的源代码实例，帮助开发者快速理解和应用这一通讯技术。 RS485是一种物理层通信标准，用于构建多点数据通信网络，具有传输距离远、抗干扰能力强的特点。它采用差分信号传输方式，可以实现双向通信，适合于长距离的工业环境。在RS485网络中，通常有一个主机（Master）和一个或多个从机（Slave），主机负责发起通信，从机响应主机的请求。 Modbus RTU（Remote Terminal Unit）是一种常用的过程控制工业通信协议，基于ASCII或RTU（远程终端单元）报文格式，常用于PLC（可编程逻辑控制器）和嵌入式系统之间的通信。Modbus RTU使用串行通信接口，如RS485，以减少布线成本和提高通信效率。 在STM32F103上实现RS485 Modbus RTU通信，首先需要配置GPIO口作为RS485的硬件接口，包括数据线（一般为RX和TX）和方向控制线（DE和RE）。DE线用于控制发送数据时的数据线方向，RE线则用于接收数据时的方向。这些设置可以通过STM32的HAL库或LL库进行编程。 接着，你需要编写Modbus RTU协议栈的实现，这包括解析和构造Modbus报文、错误检测与处理、超时管理等。Modbus RTU报文由功能码、地址、数据和CRC校验码组成。主机向从机发送请求报文，从机会根据接收到的功能码执行相应的操作，并返回响应报文。 在主机端，你需要实现发送请求和接收响应的函数，以及解析从机返回的数据。在从机端，你需要监听串口，解析接收到的请求，执行相应的功能并构造响应报文。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值