一、模型

大模型作为解决问题的主要角色，它对最终预测有着显著的影响，这一小节作者团队从模型大小和训练语料库两个方面进行了讨论，从而分析哪些类型的模型在 CoT Prompt 下更有效。

  • 模型大小对 CoT Prompt 的影响：
  • 小模型（参数少于 10 亿）在使用 CoT Prompt 时通常不会表现出积极的效果，甚至可能产生幻觉式的、不合逻辑的生成。
  • 当模型规模增加到一定程度（超过 10 亿参数），CoT Prompt 的效果会显著提升，表现出 LLM 的涌现能力。
  • 尽管如此，通过微调 CoT 数据集或知识提炼，可以增强小模型的推理能力，但这些模型在复杂任务上仍然逊色于大模型。
  • 训练语料库对 CoT Prompt 的影响：
  • 大模型的能力与其训练语料库密切相关，一些工作发现，当使用 CoT Prompt 时，用代码预训练的模型可以获得更多的性能增益。
  • 并且指令调整还显示出与 CoT Prompt 和零样本学习性能的相关性，这其中的一个关键因素是，在指令调优的过程中，模型的训练语料库中已经包含了类似 CoT 样本的内容。这些样本可能涉及到逐步推理或多步骤的推理过程。因为模型在训练时见过这些类似 CoT 的示例，所以它在实际应用中更容易理解和生成多步骤的推理过程，进而表现出更好的效果。
  • 最近有的工作甚至试图将 CoT 样本明确地纳入训练语料库，以增强逐步推理能力，避免过度拟合单调的样本模板。

总的来说，模型的大小和训练语料库对 LLM 在 CoT 提示下的表现有着重要影响。大模型更适合利用 CoT 提示，而适当的训练语料库（包括代码和 CoT 样本）能够显著提升模型的推理能力。

二、讨论及未来研究方向

在文章的最后，讨论了关于 CoT Prompt 未来的研究方向，大概总结如下：

信实性 (Faithfulness)

  • 虽然 CoT Prompt 提高了推理的可解释性，但当前生成的 CoT Prompt 过程是否真正“信实”仍然存在问题。理想的推理过程应确保模型的答案是从生成的推理过程直接推导出来的。如果推理过程看似合理但实际不可信，可能会导致人们过度信任模型，从而在实际应用中引发隐性偏见的风险。目前，大多数工作是将 CoT Prompt 和最终答案一起生成，这无法保证答案确实是通过推理得出的。未来的挑战在于如何实现真正信实的逐步推理。

普适性 (Generality)

  • CoT Prompt 的 LLM 目前在需要大量外部知识或深入语言理解的问题上仍然存在挑战。尽管一些工作通过外部检索工具来补充必要的知识，但预训练的 LLM 已经具备了大量知识。关键问题在于如何指导 LLM 识别和利用这些学到的知识。此外，虽然 CoT 已在一些推理任务上表现出色，但这些任务相对简单，与现实中的复杂应用仍有距离。未来研究需要探索如何将 CoT Prompt 与 LLM 结合，用于更加复杂和现实的基准测试。

自我合理化 (Self-rationalization)

  • 最近的研究提出了有效的自我合理化方法，即通过告诉模型正确答案来让模型自我修正推理错误。然而，模型有时可能会找到“捷径”，即生成正确答案但推理过程错误。在这种情况下，答案的准确性不足以衡量推理过程的有效性。未来的研究需要关注如何发现这些“捷径”并帮助模型自我合理化不正确的推理。

推理分析 (Rationale Analysis)

  • 现有工作在理解 CoT Prompt 方面迈出了第一步，但大多数结论仍限于有限的模型和任务。不同任务下的 CoT Prompt 形式可能有所不同，因此在实际应用中，分析和理解不同任务设置下的推理组件功能至关重要。此外，复杂和详细的推理链往往会增加推理成本和噪音干扰。未来的研究可以通过更深入地理解每个推理组件的作用，来简化推理过程并提高效率。

理论分析 (Theoretical Analysis)

  • 虽然 CoT Prompt 已被证明能在多个维度上提高推理性能，但其背后的理论机制仍然不明确。目前关于 CoT Prompt 的理论分析很少，大多基于经验性结论。一些工作发现，即使提示包含错误或无关的推理，也能在一定程度上提高推理性能，这表明 CoT Prompt 可能并不是在“教”模型如何推理，而是提供必要的推理材料，帮助模型回忆训练阶段学到的内容。未来需要更多的理论研究来解释 CoT Prompt 的有效性，并确保推理策略的可解释性和透明度。