【提示学习论文】ProGrad：Prompt-aligned Gradient for Prompt Tuning论文原理

Prompt-aligned Gradient for Prompt Tuning（CORR2022 / ICCV2023）

1 Motivation

• 经过CoOp微调过的prompt会导致模型更关注背景而不是前景对象，对于分类任务不利

2 Contribution

提出了一种基于prompt对齐的梯度的引导方法（ProGrad），来应对prompt学习中添加的不正确偏置的问题。在tuning的过程中进行一种正则化，来确保这一步的tuning不和原本的知识（zero-shot CLIP）产生冲突。

• 一般方向（general direction）：zero-shot CLIP
• 域特殊方向（domain-specific direction）：CoOp计算得出
  • 垂直向量$G_{\perp }$
  • 平行向量$G_{\Vert }$

3 具体方法

由CoOp进行学习的域特殊方向，加强其在当前数据下的精度的优化方向，但是这可能导致过拟合。用一个一般普通的prompt和zero-shot CLIP的logits计算一个KL散度，这个KL散度回传的梯度作为一般方向。

3.1 交叉熵损失

$L_{ce}$：模型预测$p(t_i|x)$与真实值$y$的交叉熵损失

3.2 KL散度

$L_{kl}$：模型预测$p(t_i|x)$与zero-shot CLIP预测$p_{zs}(w_i|x)$的KL散度

3.3 梯度

• 将$L_{ce}$的梯度表示为$G_d={\nabla }_v{L}_{ce}(v)$
• 将$L_{kl}$的梯度表示为$G_g={\nabla }_v{L}_{kl}(v)$

$G_d$和$G_g$的关系：

• 夹角小于90°：说明下游知识优化方向与一般知识不冲突，此时安全地更新梯度$G_{prograd}$作为$G_d$
• 夹角大于90°：说明下游知识优化方向与一般知识冲突，此时，将$G_d$投影$G_g$的正交方向，避免增加$L_{kl}$

3.4 ProGrad策略公式

在本文CoOp中，我们没有使用$G_d$来更新上下文向量，而是使用$G_{prograd}$来优化，可以避免过拟合：

• λ=1：将$G_d$投影到$G_g$的正交方向
• λ=0：使prograd退化为CoOp

3.5 总体流程

• 可学习上下文和类别输入文本编码器，图像输入图像编码器
• 将文本特征与图像特征计算相似概率，得到 $p$
• $p$与$y$计算$CELoss$，得到$G_d$
• $p$与$p_{zs}$计算$KLLoss$，得到$G_g$
• 将$G_d$和$G_g$反传回去，使用$G_{prograd}$更新可学习参数