Black-Box Tuning for Language-Model-as-a-Service

本文是LLM系列的文章，针对《Black-Box Tuning for Language-Model-as-a-Service》的翻译。

摘要

GPT-3等超大的预训练语言模型（PTM）通常作为服务发布。它允许用户设计特定于任务的提示，通过一些黑盒API查询PTM。在我们称之为Language-Model-a-Service（LMaaS）的这种情况下，PTM的梯度通常不可用。我们是否可以通过仅访问模型推理API来优化任务提示？本文提出了黑盒调整框架，通过无导数优化来优化输入文本前的连续提示。我们不是在原始的高维提示空间中进行优化（这对于传统的无导数优化来说是难以解决的），而是在随机生成的子空间中执行优化，因为大型PTM的本征维数较低。实验结果表明，在少数标记样本上使用RoBERTa的黑匣子调整不仅在上下文学习中显著优于手动提示和GPT3，而且超过了基于梯度的对应方法，即提示调整和全模型调整。

1 引言

2 背景

3 方法

4 实验

5 讨论与未来工作

在本节中，我们分别在（1）无导数优化和（2）基于提示的学习的背景下讨论我们提出的方法。通过与这两条研究线进行比较，我们强调了未来可以改进这项工作的一些方向。
与以前的无导数方法的比较。我们提出的方法与之前通过随机嵌入解决高维无导数优化问题的工作框架相同。相反，我们通过从均匀分布而不是正态分布采样来设置随机嵌入A，并使用CMA-ES在生成的子空间中执行优化