Self-regulating Prompts: Foundational Model Adaptation without Forgetting

本文也是大模型系列的文章，主要是与Prompt Learning有关。针对《Self-regulating Prompts: Foundational Model Adaptation without Forgetting》的翻译。

摘要

提示学习已成为微调各种下游任务的基础模型（如CLIP）的有效替代方案。使用任务特定目标（即交叉熵损失）进行常规训练的提示往往会过度拟合下游数据分布，并发现从冻结的CLIP中捕获任务不可知的一般特征具有挑战性。这导致了模型原有泛化能力的丧失。为了解决这个问题，我们的工作引入了一个用于提示的自正则化框架，称为PromptSRC（具有自调节约束的提示）。PromptSRC使用三管齐下的方法指导提示优化特定任务和不可知任务的一般表示，方法是：（a）通过与冻结模型的相互协议最大化来调节提示表示，（b）在训练轨迹上用提示的自集成来调节，以编码其互补优势，以及（c）用文本多样性进行调节，以减轻与视觉分支的样本多样性失衡。据我们所知，这是第一个用于提示学习的正则化框架，通过共同关注预训练的模型特征、提示期间的训练轨迹和文本多样性来避免过度拟合。PromptSRC显式地引导提示学习一个表示空间，该空间在不影响CLIP泛化的情况下最大限度地提高下游任务的性能。我们在4个基准上进行了广泛的实验，其