摘要:
弱监督航空目标检测(weakly supervised object detection,WOSD)是一个值得探索的难题。现有的主要WSOD方法建立在常规CNN的基础上,这些CNN难以建模旋转不变性,从而导致检测器对方向变化过分敏感。同时,当前的解决方案很容易 忽略得分较低的实例,并可能将它们视为背景。为了解决这些问题,在本文中,我们提出了一种端到端弱监督旋转不变航空目标检测网络(RINet),通过多分支在线检测器细化,使得网络对旋转目标具有更高的旋转感知能力。具体而言,首先通过逐渐细化的方式,将预测实例中的标签传播到旋转实例中。同时,在不同旋转感知分支之间,耦合预测的实例级标签,生成旋转一致性监督,从而挖掘出更多不同角度的所有可能实例。RINet强制并鼓励WSOD的一致但互补的特征学习,而无需额外的注释和超参数。在具有挑战性的NWPU VHR-10.v2和DIOR数据集上,大量实验清楚地表明,我们将现有的 WSOD方法显着提升到一个新的最先进的性能。
简介:
在遥感图像中,许多相同类别的对象实例通常以任意方向出现,引入了与类无关的特征变化,导致特征分布稀疏。如图一所示,现有的弱监督目标检测方法(WSOD)存在两个典型问题:
1.旋转敏感: 即使是同一个对象,图像旋转前后的检测结果也可能会不一致。
2.实例丢失: 现有大多数WSOD工作仅探索最具辨别力的目标。然而,航空图像通常包含许多相同类别的实例,得分较低的实例可能被看作是背景,导致目标检测器学习不稳定。
图1. 航空图像中弱监督目标检测方法(WSOD)的两个典型问题
RINet通过旋转不变学习和多实例挖掘这两个模块,保持一致性和互补学习,解决了旋转敏感和实例丢失问题。如图2所示,具体来说,我们首先将旋转变换前后的图像同时馈送到一个统一的多实例检测网络中,该网络由检测分支、旋转检测分支和旋转不变检测分支组成。
1.旋转不变学习:< 旋转不变模块生成旋转一致性标签,使得检测器对旋转前和旋转后的图像,统一预测标记的实例,从而捕获旋转不变特征。
2.多实例挖掘: 以互补的方式,耦合不同旋转感知分支的实例,从而挖掘出更多具有相同类别的所有可能实例。