CVPR 2020 | 北航提出：通过由粗到精特征自适应进行跨域目标检测，表现SOTA！

最新推荐文章于 2024-10-17 01:35:52 发布

置顶 baobei0112

最新推荐文章于 2024-10-17 01:35:52 发布

阅读量3.1k

点赞数 2

分类专栏： CNN 卷积神经网络文章标签：计算机视觉机器学习图像分割深度学习目标检测

本文链接：https://blog.csdn.net/baobei0112/article/details/105492293

版权

CNN 卷积神经网络专栏收录该内容

294 篇文章 22 订阅

订阅专栏

性能优于PDA、MDA和SWDA等网络。

作者团队：北京航空航天大学

1 引言

近年来，在基于深度学习的目标检测中见证了巨大的进步。但是，由于domain shift问题，将现成的检测器应用于未知的域会导致性能显著下降。为了解决这个问题，本文提出了一种新颖的从粗到精的特征自适应方法来进行跨域目标检测。

在粗粒度阶段，与文献中使用的粗糙图像级或实例级特征对齐不同，采用注意力机制提取前景区域，并通过多层对抗学习根据边缘分布对边缘区域进行对齐。

在细粒度阶段，通过最小化具有相同类别但来自不同域的全局原型的距离来进行前景的条件分布对齐。

由于这种从粗到细的特征自适应，前景区域中的领域知识可以有效地传递。在各种跨域检测方案中进行了广泛的实验，结果证明了所提出方法的广泛适用性和有效性。

2 主要思路及贡献

针对的问题：

目前的CNN模型在直接应用于新场景时，由于存在所谓的"域移位"或"数据集偏置"现象，导致性能下降。

主要思路

本文作者提出了一个由粗到精的跨域目标检测的特征自适应框架。如下图所示：

问题一：考虑到与背景相比，不同域之间的前景具有很多的共同特征。

作者提出了一个基于注意力的区域转移(ART)模块来突出前景的重要性，它以一种不区分类的粗糙方式工作。利用高级特征中的注意机制提取感兴趣的前景目标，并在特征分布对齐时对其进行标记。通过多层对抗性学习，利用复杂的检测模型可以实现有效的领域交叉。

问题二：对象的类别信息会进一步细化前面的自适应特征，在这种情况下，需要区分不同种类的前景目标。不过这在某些batch中可能会出现目标不匹配的情况，这使得UDA的语义匹配比较困难。
作者使用了一个基于原型的语义对齐(PSA)模块来构建跨域的每个类别的全局原型。原型在每次迭代中都进行自适应更新，从而抑制了假伪标签和类不匹配的负面影响。

主要贡献：

•设计了一种新的由粗到精的自适应方法，用于跨域两阶段目标检测，逐步准确地对齐深度特征。

•提出了两个自适应模块，基于注意的区域转移(ART)和基于原型的语义对齐(PSA)方法，利用类别信息学习前景区域的领域知识。

•针对一些典型的场景，在三个主要的基准上进行了大量的实验，结果是最先进的，证明了所提方法的有效性。

3 网络架构

如上图所示，介绍了本文用于跨域对象检测的功能适配框架，包含一个检测网络和两个适配模块。

3.1 检测网络 backbone

作者选了功能强大的Faster R-CNN 作为基础检测器backbone。Faster R-CNN 是一个两阶段的检测器，由三个主要组件组成：1）提取图像特征的骨干网络G，2）同时预测对象范围和对象得分的区域提议网络（RPN），以及3）兴趣（RoI）头，包括边界框回归器B和分类器C以进行进一步细化.Faster R-CNN的整体损失函数定义为：

3.2 适配模块 Adaptation Modules

思路来源：
与大多数现有研究（通常会减少整个特征空间中的域偏移）不同，作者采用的方法是在各个域之间共享更多共同属性的前景上进行特征对齐。同时，与当前将所有目标的样本视为一个整体的方法相反，作者认为类别信息有助于完成此任务，从而突出显示每个类别的分布以进一步细化特征对齐。
为此，设计了两个自适应模块，即基于注意力的区域转移（ART）和基于原型的语义对齐（PSA），以实现前景中从粗到精的知识转移。

3.2.1 ART：Attention-based Region Transfer

ART模块旨在引起更多关注，以在前景区域内对齐两个域之间的分布。它由两部分组成：域分类器和注意机制。

Domain 分类器

为了对齐跨域的特征分布，作者将多个域分类器D集成到主干网络G的最后三个卷积块中，在这里构建了一个二人极大极小博弈。具体来说，域分类器D试图区分特征来自哪个域，而主干网络G旨在混淆分类器。在实践中，G和D之间通过梯度反向层(Gradient Reverse Layer, GRL)进行连接，梯度反向层可以逆转流过G的梯度。当训练过程收敛时，G倾向于提取域不变的特征表示。在形式上，第l-th卷积块中对抗性学习的目标可以表示为:

Attension 机制

要使用检测任务对对目标进行本地化和分类，roi通常比背景更重要。然而，域分类器在没有聚焦的情况下对整个图像的所有空间位置进行对齐，这可能会降低自适应性能。为了解决这一问题，作者又提出了一个注意机制来实现前向感知的分布对齐，利用RPN中的高级特征来生成注意力地图，如图3所示。

具体来说：

给定任意域中的图像x，将Frpn(x)∈RH×W×C作为FPN模块中卷积层的输出特征图，其中H×W和C分别为特征图的空间维数和通道数。
通过对激活值进行跨通道的平均来构建一个空间注意图。
过滤(设置为零)那些小于给定阈值的值，这些值更有可能属于背景区域。
由于注意图的大小与不同卷积块的特征不一致，采用双线性插值进行上采样，从而得到相应的注意图。
由于注意力地图可能并不总是那么准确，如果一个前地区域被误认为背景，它的注意力权重被设置为零，则无法起到效果。因此，这里在注意图中添加了一个跳跃连接以增强其性能。

注意图A(x)∈RH×W可以表示为: