自我纠错如何使OpenAI o1推理能力大大加强？北大、MIT团队给出理论解释

最新推荐文章于 2025-04-28 23:10:15 发布

程序猿李巡天

最新推荐文章于 2025-04-28 23:10:15 发布

阅读量1.1k

点赞数 20

文章标签： storm 大数据人工智能神经网络深度学习

本文链接：https://blog.csdn.net/m0_59235945/article/details/143998616

版权

自我纠错（Self Correction）能力，传统上被视为人类特有的特征，正越来越多地在人工智能领域，尤其是大型语言模型（LLMs）中得到广泛应用，最近爆火的 OpenAI o1 模型 [1] 和 Reflection 70B 模型 [2] 都采取了自我纠正的方法。

传统的大语言模型，因为在输出答案的时候是逐个 Token 输出，当输出长度较长时，中间某些 Token 出错是必然发生。但即使 LLM 后来知道前面输出的 Token 错了，它也得用更多错误来“圆谎”，因为没有机制让它去修正前面的错误。

而 OpenAI o1 在“慢思考”也就是生成 Hidden COT 的过程中，通过分析 OpenAI 官网给出的 Hidden COT 例子可以发现，在解决字谜问题的思考过程中，o1 首先发现了每两个连续的明文字母会映射到一个秘文字母，于是便尝试使用奇数字母来构建明文，但是经过验证发现并不合理（Not directly）；接着又重新修正答案最终成功解出字谜。

▲ 图1. OpenAI o1官网示例（部分Hidden CoT）

Reflection 70B 的关键技术也包括错误识别和错误纠正。他们用到了一种名为 Reflection-Tuning（反思微调）的技术，使得模型能够在最终确定回复之前，先检测自身推理的错误并纠正。

在实际的执行过程中，这会用到一种名为思考标签（thinking tag）的机制。模型会在这个标签内部进行反思，直到它得到正确答案或认为自己得到了正确答案。

频频应用于大语言模型的自我纠错技术为何有效？为什么纠错过程可以让模型把原本答错的问题重新答对？

为了探究这一问题，北大王奕森团队与 MIT 合作，从理论上分析了大语言模型自我纠错能力背后的工作机理。

论文标题：

A Theoretical Understanding of Self-Correction through In-context Alignment

论文链接：

https://openreview.net/pdf?id=OtvNLTWYww

代码链接：

https://github.com/yifeiwang77/Self-Correction

作者团队将自我纠错的过程抽象为对齐任务，从上下文学习（In-context learning）的角度对自我纠错进行了理论分析。

值得一提的是，他们并没有使用线性注意力机制下的线性回归任务进行理论分析，而是使用真实世界 LLM 在用的 softmax 多头注意力机制的 transformer 结构，并利用 Bradley-Terry 模型和 Plackett-Luce 模型（LLM 对齐的实际选择，用于 RLHF 和 DPO）设计对齐任务进行研究。

受理论启发，他们提出了一种简单的自我纠错策略——上下文检查（Check as Context），并通过实验，在消除大语言模型中存在的潜在偏见以及防御越狱攻击中效果显著。

01.理论分析：自我纠错实际上是一种上下文对齐？

不同于类似监督学习的标准上下文示例（请求，回答），自我纠错示例可以形成一个三元组形式（请求，回答，奖励），这类似于通过奖励指示好坏样本的 LLM 对齐。

因此，作者团队提出将自我纠错形式化为一种“上下文对齐”（In-context Alignment），即通过提供一系列自我纠错步骤的上下文，优化 LLM 的最终输出，以获得更高的奖励。

对齐的过程通常包括：对于问题，收集个不同的模型回答，然后由人类或评估模型（在本文中，评估模型即该 LLM 本身）对这个回答给出排序偏好。接着，使用一般的对齐模型（如 Bradley-Terry (BT,n=2) or Plackett-Luce (PL loss, general n)）进行建模：

其中为奖励模型。

针对 transformer 模型，作者采用了带有 softmax 多头注意力机制的 transformer 结构，其前向传播更新可以分为两部分。

多头注意力（MHSA）层：

FFN 层：

奖励函数被设置为负均方误差（MSE）损失，即：

在该设置下，参数的梯度下降可等价于对数据的更新：

作者证明了多层 transformer（包含 3-head softmax attention 和 relu 激活函数的 FFN）可以利用自我纠错样本生成更优奖励的回答。具体而言，作者证明了存在模型权重，使得 transformer 可以通过在前向传播的过程中执行对其内部奖励模型参数的梯度下降，来生成更符合对齐目标的更优回答。

这是首次在理论上表明 LLM 可以在上下文中实现对齐的分析。该理论适用于多种自我纠错方法，因为评估可以来自人类、外部验证者或 LLM 本身。

▲ 图2. 关于上下文对齐的验证实验，分别涉及TF和GD的比较（a）、不同奖励噪声p的影响（b）、模型深度的影响（c）、以及不同注意力机制的效果（d）、（e）、（f）。

作者也通过设置验证实验来检验其理论导出的种种结论，以及各个 transformer 结构模块对 LLM 执行上下文对齐能力的影响，作者发现了很多有趣的结论：

通过观察比较 LLM 在执行上下文对齐时前向传播的损失与梯度下降的损失曲线，LLM 执行上下文对齐时的前传行为与梯度下降损失曲线几乎相同（图2(a)）
评价的质量直接影响自我纠错的质量（图2(b)）
对多样本的排序需要更深的模型层数，在达到一定深度后（15层），增加更多的层数并不能带来更高的收益（图2©）
Softmax注意力机制对从评价中分析回答优劣排序至关重要，而linear注意力则做不到这一点。具体来说，softmax 注意力机制可以有效地选取最优回答并为各样本生成加权平均所需的权重（图2(d)）
多头注意力机制对token角色的区分很重要。具体而言，多头注意力机制可以将生成的回答与正样本拉近，与负样本拉远。实验表明，3个attention head是上下文对齐任务中最优选择（图2(e)）
FFN对于token角色的转变很重要。在经过一个MHSA层后，FFN可以将上一轮的正样本屏蔽掉，从而使次优样本变成下一轮迭代的最优样本（图2(f)）

02.自我纠错策略：上下文检查

作者使用上下文检查（Check as Context，CaC）作为 LLM 完成自我纠错的方法，在两个现实世界的对齐任务中探索了自我纠错：缓解社会偏见和防范越狱攻击。

▲ 图3. BBQ数据集上使用CaC的示例

具体而言，首先对模型请求问题获得回答初始回答，然后对该回答进行评估，得到奖励。之后将初始回答，评估送入上下文，并重新请求问题，得到改正后的回答。此过程可多次重复以迭代改进回答，最终以最后一轮的模型回答作为模型的最终输出。

03.消除LLM社会偏见

本文使用 BBQ（Bias Benchmark for QA）数据集，在 vicuna-7B 和 Llama2-7b-chat 模型上测试了 CaC 方法的效果。此外，还在 BBQ 上研究了模型大小、评估质量和纠错轮数对纠错效果的影响。主要结论如下：

多数情况下，自我纠错后的正确率高于原正确率（图4）
正确率提升与自我评估的准确率高度相关（图4©：），甚至呈线性关系（图5（a））
采用不同的评价方式效果依次提升：仅使用对/错评价 < 自然语言评价 < 包含 CoT 的对/错评价。这是因为 CoT 不仅能提高评价准确性，还能为模型提供额外的自然语言信息（图5(b)）
更大的模型有更好的纠错能力（图5（c)(d)）
当评价的正确率足够高时，更多的纠错轮数可以带来更好的纠错效果（图5（e)）

▲ 图5. CaC对于不同种类的偏见的修正

▲ 图5. BBQ上关于模型大小、评估质量以及纠错轮数的消融实验

同时，在防御越狱攻击的实验中，CaC 也是所有测试的防御手段中最低的。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述