本地零阶提示优化

本文探讨了如何优化大型语言模型（LLM）中的提示（prompt），以更有效地利用这些黑盒模型的能力。传统的优化方法倾向于寻找全局最优解，但在某些情况下这种做法可能表现不佳。通过对提示优化进行深入的研究，作者发现了两个重要洞见：

• 首先，相比于全局最优解的稀有性，局部最优解通常更加丰富且性能良好，这为高效的提示优化提供了更多可能性；

• 其次，输入域的选择（包括提示的生成和表示方式）会影响高性能局部最优解的识别。

受此启发，作者提出了一种名为**局部零阶提示优化（Localized Zeroth-Order Prompt Optimization，ZOPO）**的新算法，该算法将基于神经切线核推导的高斯过程与标准零阶优化相结合，以高效地搜索具有良好性能的局部最优解。实验结果表明，ZOPO在优化性能和查询效率方面均优于现有基线方法。

1 局部零阶提示优化–ZOPO

ZOPO是一种旨在提高提示优化过程中查询效率和优化性能的方法。目的是提高基于提示的方法利用大型语言模型（LLMs）的能力，特别是在那些寻找全局最优解表现不佳的任务上。与全局最优解相比，局部最优解更常见且性能良好，这使得它们成为更值得追求的目标。输入域的选择，包括提示的生成和表示方式，会影响高性能局部最优解的识别。

（1）输入域变换：

使用大型语言模型生成提示候选。利用NLP嵌入模型将这些生成的提示转换成其对应的隐藏表示形式，从而充分利用LLMs的生成能力和NLP嵌入模型的表示能力。

（2）零阶优化框架：

采用增强的零阶优化（ZOO）方法，通过一个推导出的高斯过程来进行高效的梯度估计。在这个框架中，进一步整合了神经切线核（NTK）来处理复杂和高维的提示优化任务。

（3）不确定性指导的局部探索：

设计了一种基于不确定性的局部探索方法，以改善在推导出的NTK-GP框架中的梯度估计，从而增强算法的实际性能。

2 结语

本文提出了一种名为局部化零阶提示优化（ZOPO）的新算法，该算法通过高效搜索具有良好性能的局部最优解来优化提示，从而在大型语言模型的任务中提高了优化性能和查询效率。
论文题目： Localized Zeroth-Order Prompt Optimization
论文链接： https://arxiv.org/abs/2403.02993

PS: 欢迎大家扫码关注公众号^_，我们一起在AI的世界中探索前行，期待共同进步！