Progressive Domain Adaptation from Source Pre-trained Model

Progressive Domain Adaptation from a Source Pre-trained Model

Introduction

这是一篇无源领域自适应的论文，考虑到领域自适应中源域数据的隐私问题，作者提出一种名为progressive domain adaptation (PrDA) 的方法，只利用源域模型以及无标签的目标域数据进行领域自适应。作者在一开始
指出：如果我们将目标域数据输入源域模型，输出的熵（self-entropy）越小，那么可以认为预测正确的可能性越大。基于上述理论，我们可以从目标域数据中选取可靠的样本，将它们作为类的原型（class prototypes），即最能代表某一类别的样本。然后我们利用这些样本为目标域的所有样本加伪标签，这样便可自监督训练模型。同时作者还提出了一种过滤机制（set-to-set distance-based filtering），过滤掉伪标签不可靠的样本。

PrDA framework

整个框架分为两部分。虚线框内是在源域上训练出的模型，参数是固定的。下面是用源域模型初始化后的目标域模型，通过优化两个损失函数进行训练。接下来是框架的细节部分。