Progressive Domain Adaptation from a Source Pre-trained Model
Introduction
这是一篇无源领域自适应的论文,考虑到领域自适应中源域数据的隐私问题,作者提出一种名为progressive domain adaptation (PrDA) 的方法,只利用源域模型以及无标签的目标域数据进行领域自适应。作者在一开始
指出:如果我们将目标域数据输入源域模型,输出的熵(self-entropy)越小,那么可以认为预测正确的可能性越大。基于上述理论,我们可以从目标域数据中选取可靠的样本,将它们作为类的原型(class prototypes),即最能代表某一类别的样本。然后我们利用这些样本为目标域的所有样本加伪标签,这样便可自监督训练模型。同时作者还提出了一种过滤机制(set-to-set distance-based filtering),过滤掉伪标签不可靠的样本。
PrDA framework
整个框架分为两部分。虚线框内是在源域上训练出的模型,参数是固定的。下面是用源域模型初始化后的目标域模型,通过优化两个损失函数进行训练。接下来是框架的细节部分。