本文是LLM系列文章,针对《LARGE LANGUAGE MODELS AS OPTIMIZERS》的翻译。
作为优化器的大型语言模型
摘要
优化无处不在。虽然基于导数的算法是解决各种问题的强大工具,但梯度的缺乏给许多现实世界的应用带来了挑战。在这项工作中,我们提出了PROmpting优化(OPRO),这是一种利用大型语言模型(LLM)作为优化器的简单有效的方法,其中优化任务用自然语言描述。在每个优化步骤中,LLM都会从包含先前生成的解决方案及其值的提示中生成新的解决方案,然后对新解决方案进行评估,并将其添加到下一个优化步骤的提示中。我们首先展示了关于线性回归和旅行推销员问题的OPRO,然后继续进行提示优化,目标是找到最大限度提高任务准确性的指令。通过各种LLM,我们证明了OPRO优化的最佳提示在GSM8K上比人类设计的提示高出8%,在Big Bench Hard任务上高出50%。