PRewrite: Prompt Rewriting with Reinforcement Learning

PRewrite: Prompt Rewriting with Reinforcement Learning

基本信息

2024-01谷歌团队提交到arXiv

博客贡献人

徐宁

作者

Weize Kong，Spurthi Amba Hombaiah，Mingyang Zhang

摘要

  工程化的启发式编写对于LLM（大型语言模型）应用的发展至关重要。然而，通常这种编写是以“试错”的方式手动进行的，这可能耗时、低效且不够优化。即使对于表现良好的提示，也总会有一个悬而未决的问题：是否可以通过进一步修改使提示更好？
为了解决这些问题，我们在本文中研究了自动化的启发式编写。具体而言，我们提出了PRewrite，一种自动化方法，用于将未优化的提示重写为更有效的提示。我们使用LLM实例化提示重写器。重写器LLM经过强化学习训练，以优化给定下游任务的性能。我们在多样化的基准数据集上进行实验，证明了PRewrite的有效性

目前研究存在问题:

• 手工编辑prompt
  • 该方法是基于试错的，且要编写较好的prompt还受限于对应的指导原则。
• 自动化设置prompt
  • 有基于梯度的搜索方法来迭代编辑prompt，但对语言模型进行梯度访问代价过大。
  • 使用强化学习的方法来优化prompt，该方法可能会产生难以解释的胡言乱语的解释；同时这种方法虽然可以允许根据任务输入编辑prompt，但导致其较小的行动空间也会阻碍探索最优prompt的产生。
  • 之前的方法采用的语言模型都较小，例如BERT，并不清楚在只通过API访问模型的情况下，上述方法能否有效推广到更大规模的模型上。

本文研究思路:

• 将prompt的自动化生成视作一个优化问题，通过强化学习的方式训练一个prompt重写器来寻找更有效的提示。
  • 人工给定初始的instruction生成prompt
  • 通过prompt重写器LLM来重写生成一个prompt
  • 重写的prompt通过另一个任务LLM生成最终的输出
  • 通过最终输出和真实输出进行比较计算奖励，以此对重写器LLM进行强化学习微调
  • 值得注意的是，重写的提示是与特定输入（input）无关的（agnostic）。即所重写的提示是通用的，不是为了响应或适应特定的输入而定制的(泛化性)。
    

研究方法:

prompts:

• Meta Prompt

  • 元提示是用于指导重写器LLM重写初始prompt的重写指令
  • 整个训练过程中，元提示不会改变
  • 但在训练模型时以及针对不同的数据集会尝试不同的元提示

• Instruction

  • 上图中的Prompt即由Instruction和Input构成，其中Instruction是由重写器LLM从初始提示生成的最终重写提示。

强化学习

• 强化学习算法：近端策略优化算法（PPO）
  
  使用不同的奖励函数在数据集上的效果

• 奖励函数

  • EM（精确匹配）
  • F1：实际输出与预测输出之间的令牌 F1 分数
  • 困惑度（Perplexity）
  • 困惑度 + F1：困惑度和 F1 分数的线性组合

重写策略

• 在重写器LLM训练好之后，对instruction重新进行优化组合时，可采取两种策略
  • 设置了一个行动空间，作为提示重写模型词汇表中所有token的集合，这些token可以用来通过添加、删除或修改来编辑/重写提示。
  • 推断策略：在生成重写提示时，贪婪的选择每一个最高概率的标记，最终生成一个单一的重写提示，存在局部最优的问题。
  • 搜索策略：在生成重写提示时会考虑多种可能性，生成多个重写提示，最终根据重写提示在测试数据集上的表现来选定最终的重写提示。

实验结果:

数据集

• 本文一共使用了4个数据集涵盖了分类，问答，算术推理任务。
  • 分类：AG News、SST-2
  • 问答：NQ（自然问题数据集）
  • 算数推理：GSM8K

实验结果

表1.与基线对照图

• 本文方法所使用的模型为：PaLM 2-S。
• 由上表可看出，但强化学习有更大的行动空间之后，强化学习方法的改进效果更加显著。
• 本文提出的方法在三个任务四个数据集上的效果普遍优于基线模型，但基线模型效果不佳也存在是使用了较小的任务模型RoBERTa-Large导致的。
• PRewrite-S持续显示出优于PRewrite-I的改进，表明搜索策略可能更有帮助。

表2.在GSM8K数据集上与强基线任务的对比

• 此次实验基于模型PaLM 2-L。
• PRewrite-S不仅显著改进了初始提示，而且超过了诸如APE和OPRO之类的强基线，并且与Promptbreeder不相上下。
• 这几个强基线任务对GSM8K数据有特殊处理，但本文方法只是用了一个通用的元提示用于GSM8K。也可以体现出本方法有效性。

相关知识链接

下载

论文下载

总结

局限

• 大模型使用的局限性： 本文只是用了PaLM系列的大模型，并未在其他大模型上验证其效果。
• 元提示： 还可以探究不同的元提示和初始提示的组合对整体任务性能的影响。
• **数据集：**目前测试使用的数据集较少，需要在更多不同种类和数量的数据集上持续验证其性能。

优点

• 本文所使用的方法不再需要开源大模型，仅通过大模型API的方式进行使用，降低了对资源的要求
• 利用大模型和传统机器学习结合的方式优化prompt是可以尝试的方向。

BibTex

@article{kong2024prewrite,
  title={PRewrite: Prompt Rewriting with Reinforcement Learning},
  author={Kong, Weize and Hombaiah, Spurthi Amba and Zhang, Mingyang and Mei, Qiaozhu and Bendersky, Michael},
  journal={arXiv preprint arXiv:2401.08189},
  year={2024}
}