给定的 columnmapping 与源或目标中的任意列均不匹配_CVPR 2020 | 通过由粗到精特征自适应进行跨域目标检测,表现SOTA!...

本文提出了一种新颖的由粗到精的特征自适应方法,用于解决跨域目标检测中的domain shift问题。通过注意力机制的区域转移(ART)模块和基于原型的语义对齐(PSA)模块,实现了前景区域的精确对齐和语义级别的适应,从而在多个适应场景中展现出优越性能。
摘要由CSDN通过智能技术生成

点击上方“AI算法修炼营”,选择加星标或“置顶”

标题以下,全是干货

性能优于PDA、MDA和SWDA等网络。

作者团队:北京航空航天大学

1

引言

c705970ed3baefc70360832b6fbe1ba1.png

近年来,在基于深度学习的目标检测中见证了巨大的进步。但是,由于domain shift问题,将现成的检测器应用于未知的域会导致性能显著下降。为了解决这个问题,本文提出了一种新颖的从粗到精的特征自适应方法来进行跨域目标检测

在粗粒度阶段,与文献中使用的粗糙图像级或实例级特征对齐不同,采用注意力机制提取前景区域,并通过多层对抗学习根据边缘分布对边缘区域进行对齐。

在细粒度阶段 , 通过最小化具有相同类别但来自不同域的全局原型的距离来进行前景的条件分布对齐。 由于这种从粗到细的特征自适应,前景区域中的领域知识可以有效地传递。在各种跨域检测方案中进行了广泛的实验,结果证明了所提出方法的广泛适用性和有效性。 2

主要思路及贡献

  • 针对的问题:

目前的CNN模型在直接应用于新场景时,由于存在所谓的"域移位"或"数据集偏置"现象,导致性能下降。

  • 主要思路

本文作者提出了一个由粗到精的跨域目标检测的特征自适应框架。如下图所示:

9d3ba06fca553a68f92b0f29df72fbf9.png

  • 问题一:考虑到与背景相比,不同域之间的前景具有很多的共同特征。

    作者提出了一个基于注意力的区域转移(ART)模块来突出前景的重要性,它以一种不区分类的粗糙方式工作。利用高级特征中的注意机制提取感兴趣的前景目标,并在特征分布对齐时对其进行标记。通过多层对抗性学习,利用复杂的检测模型可以实现有效的领域交叉。

  • 问题二:对象的类别信息会进一步细化前面的自适应特征,在这种情况下,需要区分不同种类的前景目标。不过这在某些batch中可能会出现目标不匹配的情况,这使得UDA的语义匹配比较困难。作者使用了一个基于原型的语义对齐(PSA)模块来构建跨域的每个类别的全局原型。原型在每次迭代中都进行自适应更新,从而抑制了假伪标签和类不匹配的负面影响。

  • 主要贡献:

•设计了一种新的由粗到精的自适应方法,用于跨域两阶段目标检测,逐步准确地对齐深度特征。 •提出了两个自适应模块,基于注意的区域转移(ART)和基于原型的语义对齐(PSA)方法,利用类别信息学习前景区域的领域知识。 •针对一些典型的场景,在三个主要的基准上进行了大量的实验,结果是最先进的,证明了所提方法的有效性。 3
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值