大语言模型的情景记忆

本文介绍了一种名为POEM（PrOmpting with Episodic Memory）的新方法，用于优化大型语言模型（LLM）的提示。POEM旨在解决现有提示优化方法资源消耗大或性能不足的问题，特别是在少量示例学习的情况下。该方法将提示优化作为强化学习问题处理，利用情景记忆存档输入数据、少量示例的不同排列及训练期间获得的奖励。在测试阶段，POEM会为每个测试查询选择能够产生最高奖励的示例序列。实验结果显示，POEM在多种文本分类任务上的表现优于近期的技术，如TEMPERA和RLPrompt，并且在更广泛的自然语言理解任务中也表现出色，优于传统的启发式方法。此外，POEM还被证明在效率方面显著优于其他基于强化学习的方法，例如RLPrompt和TEMPERA，在某些基准测试上训练速度比这些方法快约150倍。

1 提示优化技术–POEM

语言模型对其内部结构、输入数据以及提示的敏感性是显著的。特别是对于大型语言模型而言，它们的能力随着参数数量的增加而增强，展现出诸如上下文学习等新特性，这使得模型仅需少量示例就能完成任务。然而，这种能力依赖于精心设计和组织的提示内容，包括所选示例及其顺序。研究表明，即使是细微的变化，如选项顺序的不同，也会对模型的性能产生影响。因此，优化提示内容和结构对于确保模型的一致性和高效性至关重要。下面是提示优化技术POEM的一些主要特点和工作流程：

（1）主要特点：

• 简化和高效