【域适应十】2022 CVPR Slimmable Domain Adaptation

1.motivation

尽管在监督任务中研究了可精简神经网络，其中具有不同层宽度（即通道数）的模型可以耦合到权重共享模型库中进行优化，当可精简神经网络满足无监督领域自适应时，仍然存在两个挑战：

1）权重自适应：如何同时提高模型库中所有模型的自适应性能？

2）架构自适应：给定特定的计算预算，如何在未标记的目标数据上搜索合适的模型？

对于第一个挑战，本文提出了随机集成蒸馏（SEED）来与模型库中的模型交互，以抑制模型内自适应对未标记目标数据的不确定性。SEED是一个课程相互学习框架，其中利用随机采样模型的预测期望来帮助模型库的领域自适应。至于模型内自适应，借鉴了最先进的基于双分类器的领域混淆方法（如SymNet和MCD）的解决方案。然而，分析了模型间交互和模型内自适应之间存在优化冲突，这促使增强优化分离三分类器（OSTC）来调节它们之间的优化。

对于第二个挑战，提出了一种无监督的性能评估度量，该度量被缓和为候选模型和锚模型之间的输出差异。度量越小，则假定性能越好。

本文采用ResNet-50一个超级网络，将具有不同层宽度的许多模型耦合起来，形成模型库。超级网络应该首先在ImageNet上进行预训练，然后在下游任务上进行微调。

2. method

SymNets网络-CSDN博客

2.1. SlimDA框架

在可精简神经网络中已经证明，具有不同宽度的许多网络（即层通道）可以耦合到权重共享模型库中，并同时进行优化。在基线中，将SymNet与可精简神经网络直接合并。为了简单起见，SymNet的总体目标统一为Ldc。在每次训练迭代中，可以从模型库{（Fj，Csj，Ctj）}mj=1∈（F，Cs，Ct）中随机采样几个模型，称为模型批，其中m表示模型批大小。这里（F，Cs，Ct）可以被视为最大的模型，并且剩余的模型可以以权重共享的方式从中采样。为了确保模型库可以完全训练，在每次训练迭代中，应该对最大和最小的模型进行采样，并将其作为模型批的一部分。（请注意，每个模型在部署之前都应该重新计算BN层的统计参数）。

该基线可以被视为方程5和方程6的两个交替过程，以优化模型库。为了鼓励上述基线中的模型间交互，本文提出了SlimDA框架&#