提升大模型自我提问能力的方法：Rephrase and Respond（RaR）

 在人类与大模型（LLMs）的交互中，误解是一个常见问题。这些误解可能导致LLMs以意想不到的方式解释问题，从而产生错误的回答。尽管提示的质量对LLMs提供的回答质量有显著影响，但目前仍缺乏一种系统化的方法来构建LLMs能够更好理解的问题。为了解决上述问题，研究者提出了一种名为“Rephrase and Respond”（RaR）的方法。RaR方法的核心在于让LLMs自己重新表述问题，以增强问题的语义清晰度并解决歧义。这种方法包括两个主要变体：一步式RaR和两步式RaR。

一步式RaR (One-step RaR)： 在一步式RaR中，LLMs被提示去重新表述问题并在同一提示中提供答案。这种方法可以看作是直接提高LLMs回答质量的策略。具体来说，研究者为问答任务设计了如下提示：

"{question}"
Rephrase and expand the question, and respond.

实验表明，使用这种提示的GPT-4在多种任务上表现出更好的结果，尤其是在那些对LLMs来说存在歧义的人类设计数据集上。

两步式RaR (Two-step RaR)： 两步式RaR进一步利用大型模型（如GPT-4）重新表述问题的质量改进。它通过两步过程提高问题质量：首先，给定一个问题，通过提示一个重述LLM生成一个自我重述的问题；然后，将原始问题和重述的问题一起提示给回答LLM。两步式RaR的提示如下：

(original) {question}
(rephrased) {rephrased_question}
Use your answer for the rephrased question to answer the original question.

这种方法允许使用更强大的LLMs来重述问题，以帮助不那么先进的模型产生更准确的回答。

实验结果： 实验结果显示，RaR方法在多个基准任务上显著提高了不同模型的性能。此外，研究者还提供了RaR方法和流行的Chain-of-Thought（CoT）方法之间的全面比较，包括理论和实证比较。展示了RaR与CoT的互补性，并且可以与CoT结合使用以实现更好的性能。

互补性与结合：CoT方法侧重于查询的开始或结束阶段的增强，而RaR直接修改查询本身。因此，RaR与CoT互补，并且可以轻松结合以提高性能。此外，与基于准确度得分进行迭代提示工程的方法不同，我们的方法无需监督且无需训练，使其经济且适用于所有问题。

论文链接：http://arxiv.org/pdf/2311.04205