超越错误：探索大模型自我纠正的学习路径

大型语言模型（LLMs）虽然进展很快，很强大，但是它们仍然存在会产生幻觉、生成有害内容和不遵守人类指令等问题。一种流行的解决方案就是基于【自我纠正】，大概就是看自己输出的结果，自己反思一下有没有错，如果有错就自己改正。

但是呢，现有的很多自我纠正的方法依赖于复杂的 prompt engineering，人类反馈，或外部工具，但这些方法往往比较麻烦（试 prompt），不稳定（换了个模型 prompt 可能就要修改了），昂贵（人类反馈很贵的），增加时延（要调用不同的外部工具）。为了克服这些限制，本文提出了一种无需 prompt engineering 也无需外部反馈的方法 ——Learning from Correctness（LeCo，是的，作者们是乐高爱好者 XD），我们想倒反天罡，从正确而不是错误中进行学习，让自己变得更强大。

• 论文链接：https://arxiv.org/pdf/2403.19094arxiv.org/pdf/2403.19094

• 代码链接：https://github.com/starrYYxuan/LeCo

一句话总结：LeCo 通过大模型自己生成的推理步骤进行自我纠正，无需人类反馈，手工提示和外部工具。其核心思想就是：模型如果知道更多的正确推理步骤，那他的搜索空间就可以压缩，从而更有高效地找到完整的正确推理路径。LeCo 为每个推理步骤计算置信度分数，通过分数给推理步骤打分，低分的推理步被视为潜在错误，之前的步骤被视为正确。通过将这些正确步骤附加到输入中，模型可以逐步接近正确答案。如下图所示，LeCo 首先得到对当前问题的解（左边 output）， 然后我们逐渐去收集正确的推理步骤知道得到最后正确的解。这种渐进式学习方法不仅提高了推理准确性，还减少了 tokens 消耗（穷人友好）和迭代次数（和投票，从错误中学习相比）。

LeCo 方法示意图

如何找出正确的推理步骤？

一些预设知识：在生成任务中，logits 代表候选词被选为下一个词的对数概率。另一方面，置信度指的是模型对其预测的确定性。在推理任务中，我们提出步骤置信度来衡量模型对每个推理步骤的正确性的置信度。于是我们设计了三种基于 logits 的评分，从单步推理步和不同推理步出发，全面评估每个推理步骤的置信度。

方法：为了找出大模型自己生成的正确推理步骤，本文开发了一种基于生成 logits 的高效方法来测量每个推理步骤的置信度，无需额外标注或工具。通过综合考虑每个步骤中的平均置信度、步骤置信度差异和步骤传递概率，LeCo 能识别出近 65% 的错误步骤。具体来讲，我们的置信度设计考虑了 3 个不同的角度：

单步置信度（average token score）：一种简单的方法来衡量步骤置信度是平均计算某一步中的 token 概率。这个平均值反映了模型在该步骤中推理的确定性。单步置信度定义为：

单步散度分数 (step divergence score)：虽然平均 token 概率看似直观，但它可能会产生误导。在一个步骤中，大多数 token 通常是常见词汇，具有高置信度分数，但携带的信息很少。相反，对于推理至关重要的 token，例如数学计算，通常置信度较低。这种矛盾导致整个步骤的平均 token 置信度偏高。为了解决这个问题，本文提出了 Step Divergence Score。这个指标测量了步骤中标记概率的分布均匀性。理想情况下，正确的推理步骤 token 概率不仅高，而且在所有 token 之间均匀分布。为此我们定义了 token 概率的归一化分布

和均匀分布 U 来设计：

步间转移分数 (Inter-step Transition Score) : 在步骤内部测量之后，我们寻求量化连续步骤之间的转换。初步实验发现了两个关键点：

（1）整体置信度较低的步骤倾向于在初始的几个 tokens（通常是前三个）中具有较低的置信度，更多讨论可以在附录中找到。

（2）这些初始的几个 tokens 也是在不同程序运行中最有可能改变的。基于这些观察，我们建议使用步骤中的开头的借个 tokens 概率来表示该步骤和下一个步骤之间的交叉转换分数。换言之，转换分数：

结合以上三个分数，我们可以得到针对每个推理步骤的置信分数：

LeCO：从正确的推理步中学习

好了，现在我们已经拥有了衡量推理步置信分数的方法，现在只需要迭代式地收集正确的推理步骤，优化搜索空间去拿到最后的正确推理路径。LeCo 分为两个阶段：

• 初始阶段（Initial Stage）：用任何 CoT 的方法生成一个初始的解即可，要求就是需要这个解是有推理步骤的。

• 反思阶段（Rethink Stage）：拿到这个解之后，我们用上述方法去计算每个推理步骤。然后选择分数最低的那个步骤作为 “犯错的第一步”。之前的的推理步骤我们都认为是 “正确的步骤”。然后我们将正确的步骤也作为输入给到大模型去进行推理。

LeCo 就是在推理和反思两个阶段交替进行直到达到停止的条件。我们设置的条件有两个：1. 达到最大的迭代次数；2. 连续两次的解都是一致的。

LeCo 算法总结如下：

实验结果

我们使用 LeCo 在推理任务上面进行了验证，包括逻辑推理，常识推理和数学推理。对比的基线系统包括了也是需要多次推理的 Self-Consistency（SC [2]），Adaptive Consistency（ADPSC [3]）和 Recursively Criticizes and Improves（RCI [4]，从错误中学习）：

表 1：LeCo 在逻辑，常识和数学推理上面的性能表现

表 2：LeCo 在需要更加复杂的推理 MATH 上的表现

从上面的两个表格中我们可以看到：

• LeCo 的普适性：适用于不同的模型（GPT3.5，GPT4，DeepSeek）和不同的 CoT 方法（Initial Stage 用的）；

• LeCo 的性能提升：在不同类型的推理任务上面都有提升，越难的任务，需要越多推理步骤的任务提升越多（比如 MATH）；

• LeCo 的效率提升：如下两个表格所示，LeCo 除了在各种任务上对性能有一定提升之外，所消耗的 token 数量更少（如：比 self-consistency 低 80%），并且所需的迭代轮数更低。

表 3：LeCo 和不同方法的 Token 消耗比较

表 4：LeCo 和不同方法的迭代次数比较

人工分析：为了进一步验证 LeCo 是否真的能识别到推理中正确的步骤，本文人工标注了 100 题 GSM8K，找出推理过程中正确和错误的时间步。Exact Correct 表示 LeCo 能精确定位到第一步犯错的步骤，Partial Correct 表示定位在 1 步的误差范围内，Wrong 表示定位误差范围大于 1 步。总体来说，LeCo 可以通过计算置信度的方式而无需外部信息较为准备地找出正确和错误的步骤，不过仍然存在提升空间。

表 5：不同方法计算推理步骤置信度的准确率（人工分析 100 题）

总结

1. 本文提出了一种新的多步推理范式，称为从正确中进行学习（LeCo），通过逐步积累正确步骤接近最终答案；

2. 本文挑战了高质量反馈只能来自外部的观点，并提出了一种仅仅使用模型自身的 confidence score 来近似每个推理步骤的正确性的方法；

3. 无论是开源和闭源模型，都可以在各种多步推理任务中从 LeCo 中获益，同时减少 token 和迭代轮次的消耗。更令人振奋的是，和我们的题目一样，LeCo 消除了 rethink 阶段重新编写 prompt 的需求。

大模型&AI产品经理如何学习

求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。

1.学习路线图

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方图片前往获取

3.技术文档和电子书

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

大模型&AI产品经理如何学习

求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。

1.学习路线图

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方图片前往获取

3.技术文档和电子书

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓