从 CoT 到 BoT：让 LLM 的推理能力更进一步

最新推荐文章于 2024-09-30 19:35:25 发布

程序员笑武

最新推荐文章于 2024-09-30 19:35:25 发布

阅读量780

点赞数 19

文章标签： llama 面试人工智能职场和发展深度学习

本文链接：https://blog.csdn.net/m0_59164304/article/details/141437251

版权

提升模型对于复杂推理任务的熟练度并且避免幻觉仍然是一个重要的研究课题。

尽管投入了大量努力，LLM 仍然在通用推理能力方面存在不足。

传统的方法，如 Chain of Thought（CoT）或 Tree of Thought（ToT），通常需要多个假设或大量的来回交流互动，这种方式会消耗大量计算资源。

而在本文中，我将为你介绍一种新的提示语框架：BoT，即 Buffer of Thoughts。

什么是 BoT

BoT 是在论文《Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models》中提出的新提示语框架。

简要来说就是：

通过一个动态的、高级思维模板库（称为元缓冲区）来应对通用推理能力方面的限制。

在这个框架中，当用户提出新问题后，LLM 会首先对其进行简化和分析，提取出关键要素，然后从动态数据集中检索相关的思维模板。

框架中的这种改进的复杂推理模式可以让 LLM 在推理方面更加高效且自适应。

根据原论文的说法，在 BoT 的加持下，Llama 3 8B 的模型甚至可能会超越 Llama 70B 的模型。

下图是 BoT 与其他框架的对比。

关于论文原文，可以在此链接中查看：https://arxiv.org/abs/2406.04271。

至于为什么 BoT 能够在与模板类似的问题上实现高效推理，主要有以下三点原因：

1. 它可以利用以往的解决方案应对新的挑战；

2. 它可以消除多次查询迭代来提升效率；

3. 它可以动态更新模板库，确保在遇到新任务时可以不断的学习和进化。

BoT 的组成

BoT 主要包含两个部分：元缓冲区（Meta-buffer）和缓冲区管理器（Buffer manager）。

元缓冲区

元缓冲区就是一个模板库，在这里存储着各种各样的思维模板，这些模板可以用来解决复杂问题，它们都是从 LLM 以前处理过的任务而来。

缓冲区管理器

缓冲区管理器是 BoT 中的动态组织者。

它的作用包括以下几点：

1. 在解决任务之后，使用新的思维模板来更新元缓冲区；

2. 选择最相关的思维模板来解决新问题，并根据问题的解决效果来优化现有的模板。

BoT 的工作机制

通用的思维增强（Thought-Augmented）推理过程从问题蒸馏开始，分析并浓缩传入任务的基本要素和约束条件，然后创建一个简化的问题陈述。

随后，这些蒸馏出来的信息会用于在元缓冲区中做检索并找出与蒸馏的问题最相似的模板。

然后，在实例化过程中，这个模板会根据蒸馏问题的具体要求和信息进行实例化。

而在这整个过程中，缓冲区管理器会主动监控元缓冲区。

一旦检测到有新的见解未包含在元缓冲区中，缓冲区管理器会更新它，确保思维模板库能够不断的进化。

也就是说，BoT 的工作机制包含以下 4 个部分：

问题蒸馏器
元缓冲区与检索
实例化
缓冲区管理器

下文将对这四个部分进行更加详细的讲解。

问题蒸馏器（Problem Distiller）

问题蒸馏器可以看作是对输入任务的预处理，主要有以下两个目的：

1. 提取问题的关键信息；

2. 简化复杂任务，以便更好地搜索和检索思维模板。

问题蒸馏器可以辅助 LLM 识别并提取问题中的重要信息和约束条件。

这个过程可以通过一个元提示语（Mega Prompt）来完成。

元提示语（Mega Prompt） 是一个高度概括的提示语，可以引导 LLM 处理复杂任务。它的作用类似于为 LLM 提供一个全面的操作指南，帮助模型在解决问题时按照特定逻辑顺序推进。与普通提示语不同，元提示语通常包含多层次的信息结构，能够帮助模型在面对多步骤或复杂问题时，准确提取关键信息、设定上下文，并确保任务得到系统化的处理。

比如，下面就是一段元提示语：

[问题蒸馏器]：     作为一名在信息蒸馏领域非常专业且智能的专家，你擅长从用户输入的查询中提取解决问题所需的关键信息，并能够根据问题的类型将这些信息转换为合适的格式。请将用户输入查询中解决问题所需的关键信息分类提取，蒸馏后的信息应包括以下内容：      1. 关键信息：     从用户输入中提取的关键变量的数值和信息，这些信息将被交给相关领域的专家进行任务解决，确保提供解决问题所需的所有必要信息。      2. 限制条件：     问题的目标以及相应的约束条件。      3. 蒸馏任务：     基于 1 和 2 扩展问题，总结一个可以应对用户查询的元问题，并处理更多的输入和输出变化。结合扩展问题的实际场景，以及从原始问题中得出的关键变量类型和信息约束，限制扩展问题中的关键变量。之后，使用用户查询输入的关键信息作为示例输入来解决该问题。

元缓冲区与检索

正如上文所说，元缓冲区一个思维模板库，LLM 可以利用过去的解决问题的思路来应对新问题。

当任务在蒸馏器中处理完毕之后，BoT 会遍历思维模板库，并选取与该任务最相似的模板。

这一过程通过计算任务与思维模板之间的嵌入相似性来完成。

实例化

实例化的过程也就是将通用的思维模板调整为适应具体问题的过程。这个调整过程可以让思维模板更贴合问题的实际需求，从而提供更有效的解决方案。

实例化过程分为两种情况。

如果任务与某个思维模板相似，那么会使用实例化提示语来实例化该模板，并结合蒸馏后的信息进行处理。

比如下面就是一段实例化提示语。

用户：[问题描述] + [解决步骤或代码]     为了提取并总结解决此类问题的高级范式和通用方法，请在回复中遵循以下步骤：      1. 核心任务总结：   识别并描述问题的基本类型和核心挑战，例如，将其分类为数学问题（如求解二次方程）、数据结构问题（如数组排序）、算法问题（如搜索算法）等。分析解决此问题的最有效方法。      2. 解决步骤描述：   概述通用的解决步骤，包括如何定义问题、确定变量、列出关键方程或约束条件、选择合适的解决策略和方法，以及如何验证结果的正确性。      3. 通用解答模板：   基于上述分析，提出一个可以广泛应用于此类问题的模板或方法，包括可能的变量、函数、类定义等。如果是编程问题，提供一组基础类和接口，可用于构建具体问题的解决方案。      请确保你的回复高度简洁且结构清晰，以便将特定解决方案转化为可推广的方法。      【可选】以下是一些思维模板的示例：（根据核心任务总结的分析，选择跨任务或任务内的示例。）

具体的实例化提示语可以在上文提到的论文中找到。

如果任务是全新的，BoT 将使用一个可以通用的思维模板。而随着任务处理的进行，缓冲区管理器会进行观察和学习，并可能创建一个更具体的思维模板，然后将这个思维模板保存到元缓冲区中。

这样，BoT 的思维模板库会不断进化，以更好地应对未来的类似问题。

缓冲区管理器

缓冲区管理器是维护和优化元缓冲区的关键角色，它基于解决任务时获得的新见解和效果来更新思维模板。

同时，每当解决了一个全新或显著不同的问题时，缓冲区管理器会评估是否需要创建一个新的思维模板，这样可以确保思维模板始终精准有效，并且不会出现冗余。

缓冲区管理器可以通过这种方式来检查元缓冲区是否已经具备解决某个问题所需的知识。

如果已有相应的模板，就直接调用它；如果没有，它就会考虑是否创建一个新的模板来应对这一新问题。

BoT vs. 单次查询 vs. 多次查询

本章节结果来自于上文提到的论文《Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models》。

与其他的提示语框架相比，BoT 的优势在哪里呢？

论文的作者对各种方法在不同数据集上的表现进行了评估，这些数据集涉及不同的任务。

这些任务包含数据理解、Python 编程题、多语言小学数学（MGSM）等。结果显示，BoT 在几乎所有任务上都表现出了显著优势。

BoT 的关键优势之一在于其效率——与多次查询提示方法相比，BoT 平均只需要 12% 的计算成本。

而像 ToT、CoT 这样的多次查询方法通常需要极高的计算成本和延迟，在实际应用中其实并不太实用。

BoT 与 Llama 3 8B 模型的结合甚至有潜力超越单一的 Llama 3 70B 模型。也就是说在使用较少计算资源的情况下，BoT 仍然能够提供非常强大的性能。

总结

BoT 是一种新颖且有前景的提示语框架，它可以将推理问题分解为基本限制和关键信息，并基于已有解决方案和模板构建任务，改善了其他提示语技术的不足。

但目前来说，BoT 还并没有较为完整的实际应用，我们还得期盼着它在未来有更多的发展。

如果想要直接尝试使用 BoT 来在自己电脑上跑一些 Demo 测试，可以参考 GitHub 上这个由论文作者编写的 BoT Demo：https://github.com/YangLing0818/buffer-of-thought-llm。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述