Premise Order Matters in Reasoning with Large Language Models

本文是LLM系列文章，针对《Premise Order Matters in Reasoning with Large Language Models》的翻译。

摘要

大型语言模型（LLM）在各个领域都取得了显著的推理性能。然而，在推理任务领域，我们发现了一个弱点：LLM对前提的排序出奇地脆弱，尽管这种排序不会改变基本任务。特别是，我们观察到，当前提顺序与中间推理步骤中所需的上下文一致时，LLM实现了最佳性能。例如，在演绎推理任务中，以与提示中的基本事实证明相同的顺序呈现前提（与随机排序相反）大大提高了模型的准确性。我们首先考察了前提顺序对各种LLM的演绎推理的影响，我们的评估表明，排列前提顺序会导致性能下降30%以上。此外，我们发布了基于GSM8K的基准R-GSM，以检查数学问题解决的排序效应，并且我们再次观察到相对于原始GSM8K基准，精度显著下降。

1 引言

2 基准

3 实验

4 相关工作

5 结论

在这项工作中，我们发现前提顺序会显著影响LLM在推理任务中的性能，即使前提顺