Prompt Tuning：轻量级微调与反向传播揭秘

Prompt Tuning 损失函数与反向传播原理解析

在Transformers中，Prompt Tuning是一种轻量级参数高效微调方法，其核心思想是只训练额外添加的提示词向量(prompt embeddings)，而冻结预训练模型的主体参数。

损失函数设计

Prompt Tuning的损失函数与标准的语言模型训练类似，主要基于交叉熵损失：

1. 对于生成任务（如文本生成、摘要）：

   L = -1/N ∑ log P(y_i | [P;x])
   

   其中[P;x]表示原始输入x前拼接上可训练的提示P，y_i是目标词，N是序列长度。

2. 对于分类任务（如情感分析、文本分类）：

   L = - ∑ y_true * log(softmax(cls([P;x])))
   

   其中cls()表示取[CLS]标记的输出，y_true是真实标签分布。

反向传播机制

Prompt Tuning的反向传播有两个关键特点：

1. 参