CoA：提升大模型的多步推理能力

人工智能咨询培训老师叶梓 转载标明出处

大模型（LLMs）在处理复杂问题时，往往需要借助外部工具来获取现实世界知识，例如网络搜索、数学和物理规则等。然而现有的工具辅助语言模型在多步推理问题中调用工具时存在效率和准确性的挑战。为了解决这一问题，来自EPFL和Meta FAIR的研究团队提出了一种新的方法——Chain-of-Abstraction（CoA）推理。CoA方法通过训练LLMs先生成包含抽象占位符的推理链，然后调用特定领域的工具来填充这些占位符，从而实现对推理链的具体化。这种方法不仅提高了模型对领域知识的鲁棒性，还允许模型在生成推理链的同时并行调用外部工具，从而显著提高了推理速度。

使用工具的链式抽象推理过程
展示了给定一个领域问题（绿色卷轴），LLM如何首先生成一个抽象的多步推理链（蓝色气泡），然后调用外部工具用特定领域的知识来实现这个推理链（橙色标签）。最终答案（黄色气泡）是基于实现后的推理链获得的

方法

图2阐释了构建微调数据集的核心步骤，即如何将已有的标准答案转化为包含抽象变量的推理链。在这一过程中，首先选取领域相关问题及其正确答案。然后，利用大型语言模型（LLM）将答案改写，引入抽象变量形成推理链。这些抽象变量作为占位符，将在后续步骤中被实际数据替代。关键的一步是使用专业工具来验证重写后的推理链，确保它能通过具体化过程得到正确答案。如果验证成功，该推理链便被确认为有效，可以用于训练LLM进行CoA推理。这个过程不仅提高了数据质量，也加强了模型的泛化能力。

微调数据构建中金标准数据重写的示例

CoA推理方法的创新之处在于它巧妙地将大型语言模型的推理过程拆分成了两个独立的阶段，这种设计极大地提高了模型处理多步推理问题时的效率和准确性。在第一阶段，模型被微调以生成抽象的推理链，这些推理链中包含了抽象的占位符，如y1、y2、y3等。这些占位符的作用是暂时代表那些在推理过程中需要用到但尚未确定的具体知识点或计算结果。例如，在解决一个数学问题时，如果需要计算20加35的结果，CoA方法会让模型首先生成一个包含占位符y1的推理链，表示这个计算步骤，但不会立即进行计算。

在CoA推理的第二阶段，这些抽象的占位符将被具体化的知识点所替代。这一过程通过调用外部工具来实现，这些工具可以是计算器、搜索引擎或其他任何能够提供必要信息的API。继续上面的例子，模型会在第二阶段调用计算器工具来计算20加35的结果，并将这个具体的结果填充到推理链中的相应占位符y1的位置。如果推理链中还有其它占位符，