Side-Tuning:domain adaption

1、介绍
Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks侧调（通常是网络自适应）的目标是利用预先训练的模型来更好地学习一个或多个新颖的任务。侧调方法很简单：它假设访问给定的（基本）模型B:X→Y，将输入X映射到某个表示Y上。然后，侧调学习一个侧模型S:X→Y，因此目标任务的计划表示如下
R（x）=B（x）⊕S（x）
对于某些组合操作⊕。例如，选择
B（x）⊕S（x）=αB（x）+（1−α）S（x）（通常称为α-混合）可减少侧调方法，以根据α（图2，右图）进行微调、特征提取和阶段性训练。因此，这些可以看作是侧调方法的特殊情况（图1）。 基本模型。基本模型B（x）提供了一些核心的认知或感知，我们对B（x）的计算方式没有任何限制。我们从不更新B（x），而且在我们的方法中，它的可学习参数为零。
第一步：利用侧调模型对源域任务进行训练，训练过程中改变α参数的值：

第二步：固定左侧模型，对右侧模型进行side-tune：