Self-regulating Prompts: Foundational Model Adaptation without Forgetting

最新推荐文章于 2025-11-05 17:32:07 发布

UnknownBody

最新推荐文章于 2025-11-05 17:32:07 发布

阅读量652

点赞数

CC 4.0 BY-SA版权

文章标签：语言模型人工智能

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/132103485

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

本文提出PromptSRC，一个用于提示学习的自正则化框架，解决过度拟合问题，保持基础模型如CLIP的泛化能力。通过相互协议最大化、提示自集成规范化和文本多样性调节，PromptSRC在多个基准上表现出良好的性能。

本文也是大模型系列的文章，主要是与Prompt Learning有关。针对《Self-regulating Prompts: Foundational Model Adaptation without Forgetting》的翻译。

摘要

提示学习已成为微调各种下游任务的基础模型（如CLIP）的有效替代方案。使用任务特定目标（即交叉熵损失）进行常规训练的提示往往会过度拟合下游数据分布，并发现从冻结的CLIP中捕获任务不可知的一般特征具有挑战性。这导致了模型原有泛化能力的丧失。为了解决这个问题，我们的工作引入了一个用于提示的自正则化框架，称为PromptSRC（具有自调节约束的提示）。PromptSRC使用三管齐下的方法指导提示优化特定任务和不可知任务的一般表示，方法是：（a）通过与冻结模型的相互协议最大化来调节提示表示，（b）在训练轨迹上用提示的自集成来调节，以编码其互补优势，以及（c）用文本多样性进行调节，以减轻与视觉分支的样本多样性失衡。据我们所知，这是第一个用于提示学习的正则化框架，通过共同关注预训练的模型特征、提示期间的训练轨迹和文本多样性来避免过度拟合。PromptSRC显式地引导提示学习一个表示空间，该空间在不影响CLIP泛化的情况下最大限度地提高下游任务的性能。我们在4个基准上进行了广泛的实验，其中PromptSRC与现有方法相比总体表现良好。我们的代码和预训练模型可在以下网站上公开获取：https://github.com/muzairkhattak/PromptSRC.