大模型 | CoT 综述（三）扩展策略：集成、子问题划分、外部辅助、合理化

扩展策略

给定一个 CoT 提示，有许多可能的扩展策略来增强提示性能，作者团队总结了四种与 CoT 相关的策略：

• 集成 Ensemble

• 子问题划分 Sub-problems Division

• 外部辅助 External Assistance

• 合理化 Rationalization

一、集成

这一小节作者团队主要讨论了在 CoT 推理中，使用集成学习策略可以有效的提升回答效果，先是阐述了集成学习的优势，随后又说了它的风险，描述如下：

• 集成学习的优势：集成学习通过结合多个不同的学习器，能够提升模型性能，相比单一学习器更为有效。在最近的研究中，学者们发现在 CoT 提示中使用集成策略能够取得优异的性能表现。这种策略能够纠正单个推理过程中可能出现的错误，并且可以将多个不同的提示和演示（例如示例或推理步骤）整合到一个最终的预测中。

• 集成策略的风险：然而，对于那些原本通过 vanilla CoT（即不使用集成策略的基本 CoT 方法）就已经能很好解决的问题，不必要的集成可能会带来负面影响。这是因为引入过多的集成可能会给模型的自信预测带来噪声，从而降低性能。

并且，还总结了两种集成方法：

• 提示集成方法（Prompts Ensemble Method）：这种方法通过重复从示例集中采样不同的演示，生成多样化的 CoT 提示，然后对这些提示的结果进行集成。

• 预测集成方法（Predictions Ensemble Method）：这种方法侧重于整合输出空间的材料（包括推理过程和答案）。在给定固定的输入查询时，使用大型语言模型的采样算法生成多种预测，然后对这些预测进行集成。

以提示集成为例，来进一步理解一下：

• 假设有一个常识问答任务，问题是“如果你打碎了玻璃，应该做什么？”

• 假设有对应的三个提示，一个提示是强调清理碎片，避免他人受伤；另一个提示是强调先检查是否受伤，然后再清理碎片；再另一个提示是建议在清理之前穿戴防护装备。

• 提示集成就是通过这些不同的提示，让模型生成一个综合的最终回答，比如：“先检查是否受伤，穿戴防护装备，通知他人，然后清理碎片。”

• 这种方法通过从多个多样化的提示，引导模型从不同角度思考问题，最后通过集成这些提示来得出更全面的答案。

通过他们的研究表明，预测集成方法比提示集成方法可能带来更大的性能提升，但同时预测集成也可能导致更高的计算成本。所以，选择何种集成策略要取决于可获得的示例数量和计算资源。还有一种可能性是将这两种集成方法结合起来使用，以期在模型性能上获得更大的提升。

二、子问题划分

这一小节作者团队讨论了当面对的问题需要递归推断或比示例更难时，将问题划分为几个子问题可能是一个更好的选择。普通的 CoT Prompt 可能试图一次性解决整个问题，而子问题划分策略则将复杂问题分解为一系列更简单的小问题。这样做使得这些小问题更容易解决，从而使模型能够处理比原始示例更困难的查询问题。

进一步来说，它有以下的好处：

• 减少干扰信息：在处理每个子问题时，模型可以忽略与当前子问题无关的信息，集中精力在与子问题相关的关键信息上。这有助于模型进行更准确和有效的推理。

• 针对性处理不同子问题：每个子问题可能需要不同的能力或知识。通过将问题分解，模型可以针对不同的子问题使用不同的模块或方法，这样可以更方便地部署每个子问题，甚至可以引入外部辅助（如其他模型或工具）来帮助解决某些子问题。

• 策略的灵活性：或者叫它模块化处理也可以，因为这种分解策略让你可以更灵活地处理每个子问题，可能会用到不同的模型模块或方法，并且可以方便地注入外部帮助。

也是举个例子来进一步理解吧：

• 假设有一个逻辑推理问题，比如“如何成功举办一场国际会议？”

• 普通的 CoT 提示可能会尝试一步一步列出所有需要完成的任务，比如确定会议地点、邀请讲者、安排住宿、设计议程等等。这种方法会试图一次性解决整个问题。

• 子任务划分策略，会先将任务进行分解，分成更小、更具体的子任务，比如：

• 子任务 1：确定会议主题和目标：这个子任务关注会议的整体方向和目标，比如确定会议的核心议题和预期成果。

• 子任务 2：选择会议地点和日期：这个子任务集中处理与地点和时间相关的所有因素，比如天气、交通便利性、场地容量等。

• 子任务 3：邀请讲者和参会者：这个子任务专注于联系并确认讲者和重要参会人员的出席。

• 子任务 4：安排后勤和住宿：这个子任务处理会议期间的后勤支持和与住宿相关的安排。

• 子任务 5：设计会议议程和活动安排：这个子任务涉及到如何安排会议期间的议程、分组讨论、社交活动等。

按照上面提到的三点好处，这个例子用子任务分解来做的好处也可以大概描述如下：

• 避免无关信息的干扰：在处理每个子任务时，模型可以专注于当前子任务的关键问题。例如，在处理“选择会议地点和日期”时，模型只需要考虑与地点和日期相关的信息，不会受到其他不相关信息的干扰。

• 针对性处理：不同的子任务可能需要不同的知识。例如，“邀请讲者和参会者”可能需要考虑目标群体的偏好，而“安排后勤和住宿”则更需要后勤管理的专业知识。

• 灵活性和模块化处理：由于子任务分解的策略，模型可以使用不同的模块或外部资源来处理不同的子任务。例如，选择会议地点可以借助地理信息系统工具，而设计会议议程可以使用日程规划工具。

总的来说，这一小节作者强调了在处理复杂问题时，采用将问题分解为多个子问题的策略的优点。相比普通的 CoT 提示，这种策略可以帮助模型更好地处理复杂的问题，减少不相关信息的干扰，并且通过模块化的方式灵活应对不同的子问题。

三、外部辅助

这一小节作者团队讨论了如何通过引入外部资源来增强大模型的能力，使其能够在更广泛的应用场景中表现得更好，其实说白就是要借助 RAG 和 Agent。

虽然大模型本身的能力比较强大，但在某些特定任务上，比如需要外部知识的任务、需要精确计算的任务或需要使用搜索引擎的任务时，单靠大模型自身的能力可能就有些吃力了，所以引入外部资源可以补充大模型的不足，帮助其解决这些复杂问题。

作者团队总结了以下外部资源：

• 知识注入：通过 RAG，大模型在回答问题时可以参考外部的知识库，从而得出更准确的答案。

• 工具和代码辅助：有些问题需要精确的计算或外部工具（比如搜索引擎），这些是大模型自己做不到的。沿用 Agent 的思想，可以引入专门的工具或代码解释器来帮忙解决问题。

文中还提到了“任务部署链”的概念，它是通过给大模型提供合适的提示，让大模型生成一个计划，即任务部署链，这个链条可以指导模型在适当的时候调用外部的一些工具等，这意味着大模型不仅可以独立解决问题，还可以在必要时整合外部资源来完成更复杂的任务。

总的来说，通过引入外部知识、工具和代码解释器，可以扩展大模型的能力，让它能更好地处理复杂问题，并且让推理过程更加可靠。

四、合理化

这一小节作者团队主要讨论了通过自我学习的过程改进大模型推理能力的可能性。

通常，大模型在生成推理（即基本原理）时，可能会出现一些错误，这些错误会导致模型得出错误的答案。如果能够纠正这些错误，那么就可以使模型的推理过程更合理，从而提高模型的整体表现。手动去合理化和修正模型的推理过程是有效的，但这种方式可能成本太高，不实际。

有一种简单的方式，可以通过提示引导模型重新思考。具体操作是：当模型生成错误答案时，可以告知模型正确答案，并要求它自我修正之前不合逻辑的推理，然后基于正确答案重新生成合理的推理。这个过程类似于一种自学习：在告诉模型正确答案的情况下，它可以逐步提高自己的推理能力。通过不断的答案监督，模型能够学习如何更好地推理。

尽管这种方法可以帮助模型修正错误推理，但当模型的推理结果是正确的，即使推理过程存在缺陷时，依然很难让模型去合理化这种不完美的推理。也就是说，即使推理过程有瑕疵，但最终结果是正确的，模型仍然可能无法识别并改进这些瑕疵。

---

最后分享

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

5. 大模型面试题

面试，不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】

如有侵权，请联系删除。