Automatic Prompt Selection for Large Language Models

本文是LLM系列文章，针对《Automatic Prompt Selection for Large Language Models》的翻译。

摘要

大型语言模型（LLM）可以通过适当的指令提示执行各种自然语言处理任务。然而，手动设计有效的提示既具有挑战性又耗时。现有的自动提示优化方法要么缺乏灵活性，要么效率低下。在本文中，我们提出了一种有效的方法，可以从有限的合成候选提示集中自动选择给定输入的最佳提示。我们的方法包括三个步骤：（1）对训练数据进行聚类，并使用基于LLM的提示生成器为每个聚类生成候选提示；（2） 合成输入提示输出元组的数据集，用于训练提示评估器根据提示与输入的相关性对提示进行排名；（3） 使用提示评估器在测试时为新输入选择最佳提示。我们的方法平衡了快速通用性和特异性，并消除了对资源密集型训练和推理的需求。它在零样本问答数据集（GSM8K、MultiArith和AQuA）上展示了具有竞争力的性能。

1 引言

2 相关工作

3 自动提示选择

4 实验设置

5 结果与讨论