CVPR SAM 利用弱监督自适应改进分布偏移下分割基础模型的泛化

个人总结：提出了利用SAM的几个弱监督师生网络损失函数，提出了微调SAM编码器的一种方案

SAM在某些方面表现不佳，我们的目标是开发一种基于自我训练的策略，使SAM适应目标分布。针对源数据量大、计算成本高、伪标签不正确等问题，提出了一种基于锚点正则化和低秩微调的弱监督自训练架构，以提高自适应。

域适应有三个主要挑战。1传统的无监督域自适应范式需要同时访问源数据集和目标数据集，这可能由于隐私问题和计算成本而不可行。2更新所有模型权值以适应通常在性能上更胜一筹，然而，由于模型尺寸大，内存成本过高，因此受到限制。3由于缺乏目标域的标签信息，无监督自适应仍然非常具有挑战性。

      

方法

根据一个未标记的目标域数据集DT = {xi}和预训练的编码器网络f(x;Θ)，我们采用师生架构进行自我训练。如图2所示，我们维持三个编码器网络，即锚点网络f(x);Θa)，学生网络f(x;Θs)和教师网络f(x;Θt)，其中学生和教师网络共享权重Θs = Θt。对于每个样本xi，我们将一个随机弱数据增强Aw(xi)作为锚点和教师网络的输入，并将一个随机强数据增强As (xi)作为学生网络的输入。通过三编码器网络得到三个特征图，然后加提示得到三个mask。

1师生自我训练损失

focal+dice loss自我训练损失来更新学生/教师网络

2Anchor 损失用于鲁棒正则化

仅使用自训练损失进行网络训练容易受到 teacher 网络预测的错误伪标签积累的影响，这也叫伪标记的确认偏差（confirmation bias）（左师兄也提到了）问题。现有的无源域自适应方法通常采用额外的约束来防止自训练的负面影响，例如对预测进行均匀分布。因此我们通过 anchor 损失来进行正则化，如公式所示，分别最小化了 anchor model 与 student/teacher model 之间的 Dice loss。冻结的 anchor model 作为从源域继承的知识，不鼓励源模型和自训练更新模型之间出现过大的偏差。

3编码器输出正则化的对比损失

更新编码器网络是适应SAM最有效的方法，有必要对编码器网络输出的特征映射直接应用正则化。具体来说，如图3所示，我们首先根据每个实例在锚点和教师分支中的预测掩码，从特征图中裁剪出每个实例的特征I，然后计算损失。

低秩权值更新

为了能够以更大的批处理规模更新骨干网络，我们选择了一种计算友好的低秩更新方法。对于编码器网络θ∈Rdi×do中的每个权值，我们使用低秩近似ω = AB，其中a∈Rdi×r, a∈Rr×do, r表示秩。这样有r(di+do)/di·do的压缩率，在适应期间，只有A和B通过反向传播更新，以减少内存占用。在推理阶段，将低秩重构与原始权值θ = θ + AB相结合进行权值重