Prompt Tuning（提示调优）到底训练优化的什么部位

Prompt Tuning（提示调优）到底训练优化的什么部位

在自然语言处理（NLP）领域，Prompt Tuning（提示调优）是一种轻量级的模型优化技术，其核心目标是通过优化提示（Prompt）来引导预训练语言模型（如GPT、BERT等）更好地完成特定任务，而无需大规模调整模型的主体参数。

一、Prompt Tuning的训练对象：提示（Prompt）的组成部分

Prompt通常由以下几部分构成，这些也是Prompt Tuning的训练“部位”：

1. 模板（Template）

   • 定义：用于构造输入文本的格式，通常包含占位符（如[X]表示输入文本，[Z]表示预测标签）。
   • 训练目标：优化模板的结构或用词，使其更符合任务语义。
   • 示例：
     • 任务：情感分类（