本文探讨了自动长提示工程在大型语言模型（LLM）中的有效性，特别是在解决复杂任务时。研究发现，贪婪算法和遗传算法在构建长提示中表现出色，尤其是在搜索效率方面。提出的新方法在Big Bench Hard的8项任务中平均提高了9.2%的准确率，强调了自动化提示设计的重要性。未来的研究方向包括改进LLM变异器的正确性、防止过拟合、多句子操作自动化以及减少评估成本。
本文是LLM系列文章，针对《Automatic Engineering of Long Prompts》的翻译。
摘要
在以提示形式提供的全面说明和演示的指导下，大型语言模型（LLM）在解决复杂的开放领域任务方面表现出了非凡的能力。然而，这些提示可能很长，通常包括数百行和数千个token，并且它们的设计通常需要大量的人力。最近的研究探索了短提示的自动提示工程，通常由一句或几句组成。然而，由于其巨大的搜索空间，长提示的自动设计仍然是一个具有挑战性的问题。在本文中，我们研究了贪婪算法和遗传算法在自动长提示工程中的性能。我们证明了波束搜索的简单贪婪方法在搜索效率方面优于其他方法。此外，我们还介绍了两种新技术，它们利用搜索历史来提高我们搜索算法中基于LLM的变异的有效性。我们的结果表明，所提出的自动长提示工程算法在Big Bench Hard中的八项任务上平均实现了9.2%的准确率增益，突出了自动化提示设计对充分利用LLM能力的重要性。
1 引言
2 相关工作
3 提出的方法
4 实验设置
5 结论，局限性和未来工作
我们研究了长提示的自动提示工程问题，通常
已下架不支持订阅
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
