迪肯大学：情景记忆和强化学习优化LLM提示

📖标题：Large Language Model Prompting With Episodic Memory
🌐来源：arXiv, 2408.07465

摘要

🔸优化提示对于提高大型语言模型（LLMs）在自然语言处理（NLP）任务中的表现至关重要，特别是在少量样本学习的情况下，其中训练示例直接并入提示中。尽管越来越多的人对使用少量示例优化提示感兴趣，但现有的提示优化方法通常需要大量资源或表现不佳。
🔸在这项工作中，我们提出了一种新颖的提示优化技术——具有情节记忆的提示（POEM），它简单高效，具有强大的泛化能力。我们将提示优化视为强化学习（RL）挑战，并使用情节记忆来归档输入数据的组合、少量示例的排列以及训练期间观察到的奖励。在测试阶段，我们通过选择在情节记忆中与前k个最相似的训练示例中获得最高总奖励的序列来为每个测试查询优化示例序列。
🔸我们的结果表明，POEM在各种文本分类任务中比最近的技术（如TEMPERA和RLPrompt）表现更好，性能提高了5.3%以上。此外，我们的方法适用于更广泛的语言理解任务，并始终优于传统的启发式方法来排序示例。

🛎️文章简介

🔸研究问题：在少样本文本分类任务中，如何优化提示内容和上下文示例的顺序以提高大语言模型（LLM）的性能。
🔸主要贡献：论文提出了一种基于情节记忆的提示优化方法（POEM），通过强化学习的即时优化能够重新排列少样本示例，显著提升语言模型在多种自然语言处理任务中的表现。

📝重点思路

🔺相关工作

🔸提示工程：利用手动提示来指导LLM执行NLP任务，而不需要额外的培训，但这些即时工程方法非常耗时，并且需要手动调整。
🔸提示优化：包括强化学习直接生成与特定查询无关的提示、编辑任务描述和上下文示例和p-tuning等软提示方式，都严重依赖LLM的能力。
🔸上下文学习：研究证明了上下文中示例的选择和排列对LLM性能的显着影响，可以启发式方法或RL来优化顺序，RL虽然理论有效但训练缓慢。

🔺论文方案

🔸基于情节记忆的提示优化方法（POEM），通过在训练过程中记录状态、动作和奖励来更新情节记忆。
🔸在测试阶段，使用最近邻估计来选择每个测试查询的最佳排列，从而构建提示。
🔸该方法通过编码输入文本和上下文示例的顺序，减少了搜索空间，并鼓励泛化。

🔎分析总结

🔸在少样本文本分类任务中，POEM方法在情感分析、自然语言理解、主题分类和自然语言推理等多个数据集上表现最优。
🔸在一般语言理解任务中，POEM也显示出比传统启发式方法更明显的进步。
🔸实验还发现，过多的示例可能会引入噪声，导致模型决策错误，因此选择适量的示例（如4个）是最佳的。

💡个人观点

论文通过情节记忆和强化学习范式，创新性地优化了提示内容和上下文示例的顺序，显著提升了语言模型在少样本学习任务中的性能。

附录