论文笔记：Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models

1. Motivation

大型语言模型（LLMs）如GPT-4、PaLM和LLaMA在各种推理任务中展现出了令人印象深刻的性能。除了通过扩大模型规模来提高推理性能外，还有更有效的提示方法可以进一步增强LLMs的功能和性能。然而，现有的单查询推理（single-query reasoning）和多查询推理（multi-query reasoning）方法都面临一些局限性，如缺乏普遍性和泛化能力、计算密集型、以及忽视从先前任务中提取一般性和高层次的指导思想或思维。为了解决这些限制，论文提出了一种新的方法。

1. 单查询推理包括有：CoT（在输入查询后附加“Let’s think step by step”），和few-shot Prompting（提供与任务相关的demonstrations来帮助生成答案）
2. 多查询推理：利用多个 LLM 查询来得出不同的合理推理路径，从而将一个复杂的问题分解为一系列更简单的子问题。如Least-to-Most，ToT，GoT

2. Contribution

1. 提出了一种新的方法：Buffer of Thoughts (BoT)来提高基于 LLM 的推理的准确性、效率和稳健性。
2. 设计了元缓冲区（meta-buffer）来存储从不同问题中提取的信息丰富的高层思想（thought-template），并针对