【LLM】增强大模型推理能力的四种范式

已于 2025-03-02 14:40:21 修改
阅读量1.1k 收藏 12
点赞数 16
分类专栏： # 大模型推理优化 # LLM大模型 # 强化学习 文章标签： 大模型 推理能力 RL deepseek
于 2025-02-23 16:48:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35812205/article/details/145788766
版权

note

  • 增强大模型推理能力的四种范式：推理时间扩展、纯强化学习(RL)、SFT+RL、蒸馏(distillation) 。其实这几种方法本质就是SFT+RL：
    • 低成本做事就直接推理时间扩展
    • 稍微肯付出成本就蒸馏SFT，顺便搞点高质量COT SFT数据
    • 高级点就先用GRPO等RL学习推理能力，在前面也能加个冷启动SFT会更好。但直接纯RL在较小模型可能不奏效。
  • 最简单的方式其实是推理时间扩展或者蒸馏，但是这个其实的成功率，其实还是依赖于基座模型本身。
    • 小模型直接进行RL未必奏效，将DeepSeek-R1-Zero中相同的纯RL方法直接应用于Qwen-32B，测试纯RL是否可以在比DeepSeek-R1-Zero小得多的模型中诱导推理能力。结果表明，对于较小的模型，蒸馏比纯强化学习更有效。
    • 使用高质量推理数据进行SFT在使用小模型时可能是一种更有效的策略。https://arxiv.org/abs/2501.12948
  • 判断是否适合使用RL的原则：越难标注（或定义）好答案的任务，越适合 RL。
    • 人们越难标注的任务（比如数学题，代码题），用 RL 的 ROI 是越高的。这种「很难产生好答案，但很容易进行判别结果是否正确」的任务，是 RLer 最喜欢的任务场景！
    • 绝大多数任务是不存在「标准答案」的（这意味着大概率需要训练一个 RM），在这类任务下抉择是否要使用 RL 往往比较困难。判断：那些「宏观标准容易定义，但细节难以精确」的任务，比较适合 RL。比如数据的标准没法一步理想化确定的情况，我们应该在满足 High Level 的大标准前提下，只比较模型生成结果的好坏。
    • 训RL需要强大的心理准备（包括但不局限于训练框架、调参稳定、Reward Hacking 这些问题）

文章目录

零、推理LLM模型

现在大多数被称为推理模型的LLMs在其回复中都包含一个“思考”或“思维”过程。
在这里插入图片描述
推理模型旨在擅长解决复杂任务，如解决谜题、高级数学问题和具有挑战性的编程任务。然而，对于简单的任务（如摘要、翻译或基于知识的问题回答）并不是必需的。如果将推理模型用于所有任务，会导致效率低下且昂贵，并且有时由于“过度思考”而更容易出错。

在这里插入图片描述

一、推理时间扩展（Inference-time scaling）

推理时间扩展 ，一种无需训练或以其他方式修改底层模型即可提高推理能力的技术。推理时间扩展不需要额外的训练，但会增加推理成本，随着用户数量或查询量的增加，大规模部署的成本会更高。不过，对于已经很强大的模型来说，提高性能仍然是明智之举。o1可能利用了推理时间扩展，这有助于解释为什么与DeepSeek-R1相比，它在每token基础上的成本更高。
在这里插入图片描述

  • 一个直接的推理时扩展方法是提示工程。一个经典例子是思维链（CoT）提示，在输入提示中加入“逐步思考”之类的短语。鼓励模型生成中间推理步骤，而不是直接跳到最终答案，会在更复杂的问题上通常（但不总是）会导致更准确的结果。
  • 另一种推理时间扩展的方法是使用投票和搜索策略。
    • 一个简单的例子是多数投票，让LLM生成多个答案，然后通过多数投票选择正确答案。
    • 同样，可以使用束搜索和其他搜索算法来生成更好的回答。

二、纯强化学习(RL)

纯强化学习(RL) ，如DeepSeek-R1-Zero，它表明推理可以作为一种学习行为出现，而无需监督微调。纯RL对于研究目的来说很有趣，因为它提供了对推理作为一种新兴行为的洞察。然而，在实际模型开发中，RL+SFT是首选方法，因为它可以产生更强大的推理模型。可能o1也是使用RL+SFT进行训练的，即o1从比DeepSeek-R1更弱、更小的基础模型开始，但通过RL+SFT和推理时间缩放进行了补偿。
在这里插入图片描述

三、监督微调SFT+RL

监督微调（SFT）加上RL，这产生了DeepSeek的旗舰推理模型DeepSeek-R1。RL+SFT是构建高性能推理模型的关键方法。DeepSeek-R1是一个很好的案例，展示了如何做到这一点。
在这里插入图片描述

参考实验结果，Deepseek R1（使用SFT+RL）比Deepseek-R1-zero（只使用RL）的效果更好：
在这里插入图片描述

四、蒸馏(distillation)

蒸馏(distillation) ，一种很捷径的方法，尤其是用于创建更小、更高效的模型。然而，蒸馏的局限性在于它不会推动创新或产生下一代推理模型。例如，蒸馏总是依赖于现有的、更强大的模型来生成监督微调(SFT)数据。
在这里插入图片描述
蒸馏方法：

  • 一种是数据蒸馏（ds也是用这种），在数据蒸馏中，教师模型生成合成数据或伪标签，然后用于训练学生模型。这种方法可以应用于广泛的任务，即使是那些 logits 信息量较少的任务（例如开放式推理任务）。
  • 一种是Logits蒸馏，Logits 是应用 softmax 函数之前神经网络的原始输出分数。在 logits蒸馏中，学生模型经过训练以匹配教师的 logits，而不仅仅是最终预测。这种方法保留了更多关于教师信心水平和决策过程的信息。
  • 一种是特征蒸馏，特征蒸馏将知识从教师模型的中间层转移到学生。通过对齐两个模型的隐藏表示，学生可以学习更丰富、更抽象的特征。

Reference

[1] Understanding Reasoning LLMs：https://magazine.sebastianraschka.com/p/understanding-reasoning-llms
[2] 再看增强大模型推理能力的四种范式及蒸馏微调范式具体实现
[3] 一文理解推理大模型-Understanding Reasoning LLMs
[4] How to distill Deepseek-R1: A Comprehensive Guide
[5] R1爆火之后，思考到底什么任务适合用RL做？何枝NLP
[6] DeepSeek R1 最新全面综述，近两个月的深度思考

大模型训练概念介绍：蒸馏、SF、强化学习、涌现、顿悟
Learning
02-17 292
大模型训练概念介绍：蒸馏、SF、强化学习、涌现、顿悟
数据增强：让模型更健壮的实用技巧
AI天才研究院
03-27 700
数据增强：让模型更健壮的实用技巧 作者：禅与计算机程序设计艺术 1. 背景介绍 随着机器学习和深度学习技术的不断发展，在各个领域都得到了广泛应用。但是,这些模型在实际应用中往往会遇到一些挑战,比如训练数据不足、数据分布偏移、模型过拟合等问题。数据增强是一种有效的解决方案,通过
大模型蒸馏与大模型微调技术有啥差别?
kcarly的专栏
02-01 4164
大模型蒸馏（Knowledge Distillation）蒸馏是一种将大型复杂模型（教师模型）的知识迁移到小型模型（学生模型）的技术。通过训练学生模型模仿教师模型的行为，实现模型压缩和性能保留的目标。蒸馏过程通常包括两个阶段：预训练阶段（教师模型训练）和知识传递阶段（学生模型训练）。大模型微调（Fine-tuning）微调是指在预训练的大模型基础上，通过少量标注数据的再训练，使模型适应特定任务的需求。微调可以分为全量微调和参数高效微调（如PEFT）。
技术学习笔记-大模型蒸馏（二）
最新发布
qq_63651784的博客
03-12 887
有监督微调又被称为序列级知识蒸馏，常被用于提取强大黑盒LLMs的知识。SFT通过最大化学生模型对教师LLMs生成序列的似然概率来微调学生模型，使学生的预测与教师的预测保持一致。公式是一个交叉熵损失函数。其中，y∼p_T(y∣x)：输出 y 是根据教师模型的条件概率分布 p_T(y∣x) 生成的，p_S(y|x)是学生模型给定输入 x 生成输出 y 的条件概率。通过最小化这个损失函数，学生模型逐渐学会模仿教师模型的行为，从而将教师的知识"蒸馏"到学生模型中。
迁移学习 fine tune(微调) 模型蒸馏
puspos的博客
08-31 1573
文章目录迁移学习: 把预训练模型参数迁移到新的模型上，帮助模型训练。应用场景手段fine tune/ fine tuning：微调，一种调参手段优点使用场景具体操作学习率设置使用哪些层权重multi-task learning 迁移学习: 把预训练模型参数迁移到新的模型上，帮助模型训练。 应用场景 数据集中只有少量的label data，直接训练效果很差，容易过拟合。 手段 fine tune/ fine tuning：微调，一种调参手段 y=wx，若w实际为5。 如果w初始化为0，需不断反向传播更新后得到
模型增强 | 利用 NLG 增强 QA 任务性能
Kaiyuan_sjtu的博客
05-17 515
作者|许明整理|NewBeeNLP上周打算把UniLM在toolkit4nlp[1]的基础上实现一下，又刷了一遍UniLM论文[2],发现作者提到用UniLM做问题生成，...
微调和蒸馏大模型的详细技术比较：创建自我优化、极具适应性的AI系统
bugyinyin的博客
02-28 1143
LLM 已经彻底改变了人工智能，特别是具有数十亿到数百亿参数的模型，使其在各种自然语言处理（NLP）任务中实现了最先进的表现。然而，它们庞大的体量带来了计算效率、适应性和部署可行性方面的挑战。微调和蒸馏这两种主要技术已经成为关键的优化策略。
LLM - 大模型推荐系统范式 生成式推荐器(Generative Recommenders) 简读
AGI
12-04 1192
生成式推荐器(Generative Recommenders, GRs) 是 大模型推荐系统范式，将推荐问题重新定义为序列直推任务，设计新的架构 层次序列直推单元 HSTU(Hierarchical Sequential Transduction Units)，以应对高基数、非静态的推荐数据流。HSTU 在合成数据集和公共数据集上的 NDCG 性能比基线高出 65.8%，在处理 8192 长度序列时比基于 FlashAttention2 的 Transformer 快 5.3~15.2 倍。
FOT(Forest-of-Thought)：增强大型语言模型推理能力的新框架
llm_way的博客
02-16 1045
Forest-of-Thought（FoT）框架是一种专门为增强大型语言模型推理能力而设计的新颖框架。它借鉴了树状思维（Tree of Thought）和蒙特卡洛树搜索（Monte Carlo Tree Search，MCTS）等推理框架的思想，通过引入多个推理树进行独立决策，并利用稀疏激活策略筛选关键树的结果，从而构建一个包含多个推理路径的“思维森林”。这个框架的核心在于其结构化的推理过程和动态路径选择机制，使得LLMs能够在解决复杂问题时表现出更高的鲁棒性和效率。
LLM大模型能力与企业业务系统集成技术方案
AI天才研究院
06-28 647
随着人工智能技术的迅猛发展，大语言模型（Large Language Models, LLMs）如GPT-4、BERT等在自然语言处理领域取得了显著的成果。这些模型通过在海量数据上进行预训练，具备了强大的语言理解和生成能力。然而，如何将这些大模型的能力与企业业务系统进行有效集成，充分发挥其价值，成为了一个亟待解决的问题。LLM与企业业务系统的集成，本质上是将预训练的大语言模型通过API接口嵌入到业务系统中，使其能够处理业务请求，提供智能化的语言处理能力。
大型语言模型的推理能力提升：链式推理方法综述
人工智能前沿分享
07-04 1240
CoT的成功激发了一系列CoX方法的开发，这些方法不仅包括推理思考，还将链式结构扩展到了各种组件，如链式反馈（Chain-of-Feedback）、链式指令（Chain-of-Instructions）和链式历史（Chain-of-Histories）等。通过这些精心设计的节点，CoX方法不仅提升了大型语言模型在复杂任务中的表现，同时也为模型的推理过程增加了透明度和可解释性，这对于构建可信赖和可靠的人工智能系统至关重要。论文链接：https://arxiv.org/abs/2404.15676。
大型语言模型（LLM）理论简介
热门推荐
Code365
07-08 1万+
大语言模型（LLM，Large Language Model），也称大型语言模型，是一种旨在理解和生成人类语言的人工智能模型。LLM 通常指包含数百亿（或更多）参数的语言模型，它们在海量的文本数据上进行训练，从而获得对语言深层次的理解。目前，国外的知名 LLM 有 GPT-3.5、GPT-4、PaLM、Claude 和 LLaMA 等，国内的有文心一言、讯飞星火、通义千问、ChatGLM、百川等。为了探索性能的极限，许多研究人员开始训练越来越庞大的语言模型，例如拥有1750 亿参数的GPT-3和。
搞懂推理大模型，看这篇就够了！
2401_85773741的博客
02-10 1481
如果你从事人工智能（或一般的机器学习）工作，你可能对模糊且备受争议的定义并不陌生。“推理模型”这一术语也不例外。最终，有人会在一篇论文中正式定义它，但很快又会在下一篇论文中被重新定义，如此循环。在本文中，我将“推理”定义为回答需要复杂、多步生成并包含中间步骤的问题的过程。例如，像“法国的首都是哪里？”这样的事实性问题并不涉及推理。相比之下，像“如果一列火车以每小时60英里的速度行驶3小时，它会行驶多远？”这样的问题则需要一些简单的推理。例如，它需要在得出答案之前认识到距离、速度和时间之间的关系。
关于增强模型泛化能力的方法之一（标准化Normalization）
evenchao1的博客
03-06 2594
1. 批标准化 **标准化（Normalization）**是一大类方法，用于让机器学习模型看到的不同样本彼此之间更加 相似，这有助于模型的学习与对新数据的泛化。 最常见的数据标准化形式就是你已经在本书中 多次见到的那种形式：将数据减去其平均值使其中心为0，然后将数据除以其标准差使其标准 差为1。实际上，这种做法假设数据服从正态分布（也叫高斯分布），并确保让该分布的中心为0， 同时缩放到方差为1。...
大模型推理方式梳理
sinat_33545336的博客
09-29 164
【代码】大模型推理方式梳理。
深度学习的数据增强技术：如何提高模型性能
AI天才研究院
12-31 1107
1.背景介绍 深度学习技术在近年来得到了广泛的应用，成为人工智能领域的重要技术之一。然而，深度学习模型的性能仍然受到数据质量和量的影响。数据增强技术是一种可以提高深度学习模型性能的方法，通过对现有数据进行处理，生成新的数据，从而增加训练数据集的规模和质量。 在本文中，我们将深入探讨数据增强技术的核心概念、算法原理、具体操作步骤和数学模型公式。同时，我们还将通过具体的代码实例来展示数据增强技术的...
【重磅AI论文】DeepSeek-R1：通过强化学习激励大语言模型（LLMs）的推理能力
m0_66899341的博客
01-24 5557
本文提出了两种推理模型：DeepSeek-R1-Zero和DeepSeek-R1。DeepSeek-R1-Zero是一个未经过监督微调（SFT）直接通过大规模强化学习训练的模型，展现了强大的推理能力。然而，它也面临可读性差和语言混杂等挑战。为了解决这些问题，DeepSeek-R1在强化学习之前融入了多阶段训练和冷启动数据，进一步提升了推理性能。
提高模型性能的几种值得尝试的方法
BoCong-Deng的博客
07-23 2653
在我们进行模型训练时，如果你只是想要让模型具有不错的性能，那么盲目地尝试网络架构足以达到目的。而在本文中， 我们将为你提供一套用于构建最先进深度学习模型的必备技术的快速指南，从而让模型由“具有不错的性能”上升到“性能卓越且满足我们的一些需要”。本文的叙述以及代码的编写时基于TensorFlow中Keras来进行表述的。
在安卓手机部署大语言模型Qwen1.5-0.5B的实践指南
资源摘要信息:"fire_基于MNN-llm的安卓手机部署大语言模型：Qwen1.5-0.5B-Chat_Qwen1.5-0.5b-chat-android" 知识点： 1. MNN（Mobile Neural Network）-llm框架：MNN是一个轻量级的神经网络深度学习框架，适用于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

山顶夕景

小哥哥给我买个零食可好

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值