本文是LLM系列文章,针对《Enhancing Robustness in Large Language Models: Prompting for Mitigating the Impact of Irrelevant Information》的翻译。
增强大型语言模型的鲁棒性:提示减轻不相关信息的影响
摘要
近年来,大型语言模型 (LLM) 因其在复杂推理任务中的卓越表现而受到广泛关注。然而,当问题描述包含不相关的信息时,即使使用高级提示技术,最近的研究也可能会显着削弱他们的推理能力。为了进一步研究这个问题,构建了一个包含不相关信息的小学数学问题数据集,名为 GSMIR。在此数据集上测试突出的 LLM 和提示技术表明,虽然 LLM 可以识别不相关的信息,但一旦识别出来,它们并不能有效减轻它造成的干扰。为了解决这一缺点,提出了一种新的自动构造方法 ATF,它增强了 LLM 识别和自我减轻不相关信息影响的能力。此方法分两步进行:首先,分析不相关的信息,然后进行过滤。实验结果证明,ATF 方法显著提高了 LLM 和提示技术的推理性能,即使在 GSMIR 数据集上存在不相关的信息时也是如此。