DePT: Decoupled Prompt Tuning

当前的问题:Base-New Tradeoff(BNT)困境

现有的提示调优方法通常无法摆脱Base-New Tradeoff(BNT)困境，即调优/调整的模型对基本任务的泛化效果越好，对新任务的泛化效果就越差(包含不可见的类)，反之新任务的泛化效果越好，所需要的代价便是基本任务的泛化效果越差。
作者最终达到的结果便是：Base和New的准确率上同时得到提升

什么原因导致了Base-New Tradeoff(BNT)

Base和New联合训练Oracle

为了训练一个近乎BNT问题的模型，作者使用base task${\tau }_{base}$和new task ${\tau }_{new}$来联合派生模型Oracle。按我理解，应该是Oracle这个模型利用上了base和new上的数据，所以自然而然地不存在上述的Base-New Tradeoff(BNT)问题。

通道重要性(CI)的计算

第$r(r=1,\dots ,d)$个通道重要性计算如下：

其中$f_j,e_{\ast }$分别为$x_j$学习到的$d$维图像和文本特征。$N$为任务中的示例数。ReLU[1]用于避免分母等于0。

将Oracle与CoOp进行比较

在(a)©中，$x$轴是对分别base task ${\tau }_{base}$和new task ${\tau }_{new}$根据通道重要性(CI)进行排序后的索引($x$越小，CI得分越低，$x$越大，CI得分越高)，$y$轴即为通道重要性(CI)大小。从图中可以看出，oracle模型得到的base task和new task的CI分布比CoOp模型得到的CI分布具有更大的一致性。
在(a)©中，oracle的准确率确实比CoOp高。

提出的idea

oracle模型在很大程度上优于CoOp，这表明oracle模型产生的大多数特征通道包含任务共享知识，这对新任务的泛化很有价值。简而言之，在提示调优之后，绝大多数学习到的特征通道被特定于基础的知识所占据，导致对新任务很重要的任务共享知识的崩溃(或灾难性遗忘)——我们在本工作中将其称为通道偏差问题。
我们能否在特征通道中同时保留特定于base-task共享的知识，以克服提示调优中的BNT问题?

个人理解：既然BNT问题与CI分布紧密相关，那么我们接下来的改进可以围绕着特征通道这一角度着手。

解决办法

解决办法非常简单，仅仅只是加了一个即插即用(Plug-and-Play)的CAT Head。

CAT Head

对于Image Encoder和Text Encoder的输出 S i m g = { f j } j = 1 J , S t e x t = { e j } j = 1 J S_{img}=\{\bm f_j\}^J_{j=1},S_{text}=\{e_j\}_{j=1}^J Simg​={fj​}j=1J​,Stext​={ej​}j=1J​，CAT Head利用通道转换层(cwT)将Simg和Stext转换为新的特征空间，即

类似地，得到 S i m g ′ = { f j ′ } j = 1 J , S t e x t ′ = { e j ′ } j = 1 J S'_{img}=\{\bm f'_j\}^J_{j=1},S'_{text}=\{e'_j\}_{j=1}^J Simg′​={fj′​}j=1J​,Stext′​={ej′​}j=1J​
再将$S_{img}^{\prime },S_{text}^{\prime }$拼接在一起，即 S ∪ = S i m g ′ ∪ S t e x t ′ = { s j } j = 1 2 J , Y ∪ = { y j } j = 1 2 J S_{\cup}=S'_{img}\cup S'_{text}=\{s_j\}^{2J}_{j=1}, \mathcal{Y}_ {\cup}=\{\bm y_j\}^{2J}_{j=1} S∪​=Simg′​∪Stext′​={sj​}j=12J​,Y∪​={yj​}j=12J​
其中${\mathbf{y}}_j\in {\mathbb{R}}^M$是$s_j$的on-hot标签。
对于每一对$(s,\mathbf{y})$， CAT头最小化以下交叉熵损失:
${\mathcal{L}}_{\text{CAT}}=-{\sum }_i{\mathbf{y}}_i\text{log}{\mathcal{P}}_{\text{CAT}}({\mathbf{c}}_i|\mathbf{x})$
其中

总损失与推理

总损失如下：

Base与New上的推理

对于基本任务，我们的CAT头直接将测试样例的图像特征作为输入，使用线性分类器预测分布内类标签。

在推理时，使用标准ITM头来实现对原始特征空间中新任务的zero-shot泛化/预测。

参考资料

论文下载(2024 CVPR)

https://arxiv.org/abs/2309.07439

代码地址

https://github.com/Koorye/DePT