Position Engineering: Boosting Large Language Models through Positional Information Manipulation

本文是LLM系列文章，针对《Position Engineering: Boosting Large Language Models through Positional Information Manipulation》的翻译。

摘要

大型语言模型（LLM）的性能受到所提供提示质量的显著影响。作为回应，研究人员开发了大量的提示工程策略，旨在修改提示文本以提高任务性能。本文介绍了一种称为位置工程的新技术，它为指导大型语言模型提供了一种更有效的方法。与提示工程不同，提示工程需要付出大量努力来修改提供给LLM的文本，而位置工程只涉及更改提示中的位置信息，而不修改文本本身。我们在两种广泛使用的LLM场景中评估了位置工程：检索增强生成（RAG）和上下文学习（ICL）。我们的研究结果表明，在这两种情况下，位置工程都大大改善了基线。因此，位置工程代表了一种开发大型语言模型功能的有前景的新策略。

1 引言

2 方法

3 实验

4 讨论

5 相关工作

6 结论

在这项研究中，我们引入了位置工程