论文阅读：CVPR 2022 SIGMA: Semantic-complete Graph Matching for Domain Adaptive Object Detection

Abstract:

最近的进展通过缩小跨域原型（类中心）来调整类条件分布。尽管取得了巨大的成功，但他们忽略了训练批次中显着的类内差异和域不匹配的语义，导致次优适应。为了克服这些挑战，我们为 DAOD 提出了一种新的语义完整图匹配 (SIGMA) 框架，该框架补充不匹配的语义并重新制定了图匹配的适应。

Introduction:

直接计算类别条件分布存在的问题：1）忽略了类内显著变化性，由于对象实例的大小和外观不同，类内差异涵盖了表示类条件分布的基本信息。2）训练中的域不匹配语义。仅对两个域中同时出现的类别进行适应，而忽略了单个域中出现的不匹配类别。由于语义知识的丢失，忽略缺失的类别会导致无效的适应。

Method:

 

第一步：设计了一个图嵌入语义完成模块（GSC），它通过在缺失类别中生成幻觉图节点来完成不匹配的语义。建立跨图像图来模拟类条件分布，并学习一个图引导的记忆库(memory bank)，以便依次更好地完成语义。

1）将视觉特征图采样，通过一个非线性映射(V2G)变成Graph。

2) 利用memory bank，生成并补充缺失的节点类别

第二步：在将source数据和目标数据表示为图之后，将自适应问题表述为图匹配问题，即在图上找到匹配良好的节点对以减少域间隙，这是通过一种新颖的二分图匹配适配器 (BGM) 解决的。简而言之，利用图节点建立语义感知节点亲和性，并利用图边作为结构感知匹配损失中的二次约束，通过节点到节点的图匹配实现细粒度自适应。

第三步：模型的训练：