Instructing Large Language Models to Identify and Ignore Irrelevant Conditions

本文是LLM系列文章，针对《Instructing Large Language Models to Identify and Ignore Irrelevant Conditions》的翻译。

摘要

数学单词问题（MWP）的求解需要根据给定的问题描述生成推理路径，该描述通常包含不相关的条件。现有的思想链（CoT）提示方法引发了大型语言模型（LLM）解决MWP的多步骤推理能力。然而，他们被不相关的条件严重混淆，导致准确性低。在本文中，我们提出了一种名为I3C的新方法，该方法指示LLM识别和忽略不相关的条件。它确定了一组与问题语义相关性较弱的不相关条件候选者。然后，它会提示LLM验证不相关的条件。最后，它指导LLM对相关和不相关的条件进行验证，以避免混淆并改进推理路径。此外，我们建议选择（问题，推理路径）对作为演示，以增强I3C的小样本推理。我们开发了I3C Select，它基于语义相关性测量来选择最令人困惑的问题。我们在八个MWP数据集上进行了广泛的实验。I3C可以与任何CoT提示方法相结合，以提高解决MWP的性能。值得注意的是，使用GPT-3.5-Turbo和I3CSelect，我们在GSM-IC2-1K和GSM-ICM-1K上分别实现了96.0和94.1的准确度，显著优于最先进的小样本提示方法ComplexCoT+