《Transformer-Based Source-Free Domain Adaptation》

Abstract

提出了一个基于Transformer的通用有效框架TransDA，用于学习SFDA通用模型。具体来说，我们将Transformer作为注意力模块，并将其注入到卷积网络中。这样可以使模型的注意力转向目标区域，从而有效地提高模型对目标区域的泛化能力。
此外，提出了一种新的自监督知识精馏方法，以适应带有目标伪标签的变压器，从而进一步鼓励网络聚焦于目标区域。