【论文速递】CVPR2021 - ReDet：一种用于航空目标检测的旋转等变检测器

【论文速递】CVPR2021 - ReDet：一种用于航空目标检测的旋转等变检测器

【论文原文】：ReDet: A Rotation-equivariant Detector for Aerial Object Detection

获取地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9577528

推荐相关论文：

-无

摘要：

最近，航空图像中的目标检测在计算机视觉中引起了广泛的关注。与自然图像中的物体不同，空中物体通常以任意方向分布。因此，检测器需要更多的参数来编码方向信息，这通常是高度冗余和低效的。此外，由于普通CNN没有明确地对方向变化进行建模，因此需要大量的旋转增强数据来训练准确的目标检测器。在本文中，我们提出了一种旋转等变检测器（ReDet）来解决这些问题，它明确编码了旋转等变性和旋转不变性。更准确地说，我们将旋转等变网络纳入检测器以提取旋转等变特征，这可以准确预测方向并导致模型尺寸的大幅减小。基于旋转等变特征，我们还提出了旋转不变RoI对齐（RiRoI Align），它根据RoI的方向自适应地从等变特征中提取旋转不变特征。在几个具有挑战性的航空图像数据集DOTA-v1.0，DOTA-v1.5和HRSC2016上的大量实验表明，我们的方法可以在航空目标检测任务中实现最先进的性能。与之前的最佳结果相比，我们的 ReDet 在 DOTA-v1.0、DOTA-v1.5 和 HRSC2016 上分别获得了 1.2、3.5 和 2.6 mAP，同时将参数数量减少了 60%（313 Mb vs. 121 Mb）。该代码可在以下位置获得：https://github.com/csuhan/ReDet。

关键词 ：目标检测，旋转检测，旋转不变性，旋转等变性

简介：

本文研究了航空图像中的目标检测问题，这是计算机视觉中最近出现的一个具有挑战性的问题[35]。与自然图像中的对象不同，航拍图像中的对象通常以任意方向分布。为了应对这些挑战，航空目标检测通常通过依靠定向边界框（OBB）表示而不是使用水平边界框（HBB）来制定为定向目标检测任务[7]，[35]，[38]，[40]。

Fig. 1. Illustration of our method (top) and comparisons of RRoI warping (bottom).

最近，许多精心设计的定向目标探测器被提出，并报告了具有挑战性的航空图像数据集的有希望的结果[21]，[35]。为了在无约束的航拍图像中实现准确的目标检测，它们中的大多数都致力于提取旋转不变特征[7]，[10]，[22]，[37]。在实践中，RRoI warping（例如，RRoI 池化 [22] 和 RRoI 对齐 [7]）是提取旋转不变特征最常用的方法，它可以根据二维平面中 RRoI 的边界框精确地扭曲区域特征。然而，具有常规CNN特征的RRoI warping不能产生精确的旋转不变特征。通过使用更大的容量网络和更多的训练样本来模拟旋转变化，可以近似旋转不变性。如图1所示，**规则的cnn与旋转不是等变的，即将旋转后的图像输入cnn与原始图像的旋转特征图不相同。**因此，随着方向的变化，由规则的CNN特征图扭曲的区域特征通常是不稳定和微妙的。

最近提出的一些方法[5]，[13]，[33]将CNN扩展到更大的组并通过组卷积实现旋转等变性 [5]。这些方法的特征图具有额外的方向通道，记录来自不同方向的特征。然而，直接将普通RRoI warping应用于旋转等变特征无法产生旋转不变特征，因为它只能在2D平面（即空间维度）中扭曲区域特征，而方向通道仍然未对齐。为了提取完全旋转不变的特征，我们还需要根据 RRoI 的方向调整特征图的方向维度。

在本文中，我们提出了一种旋转等变检测器（ReDet）来从旋转等变特征中提取完全旋转不变的特征。如图1所示，我们的方法由两部分组成：旋转等变特征提取和旋转不变特征提取。首先，我们将旋转等变网络纳入骨干中，产生旋转等变特征，可以准确预测方向并降低建模方向变化的复杂性;由于直接应用RRoI warping仍然不能从旋转等变特征中提取旋转不变特征，我们提出了一种新的旋转不变RoI对齐（RiRoI Align）。它可以根据空间维度上RRoI的边界框扭曲区域特征，并通过循环切换方向通道和特征插值来对齐方向维度上的特征。最后，旋转等变backbone和RiRoI Align的组合形成了我们的ReDet，以提取完全旋转不变的特征，以进行准确的航空目标检测。

在具有挑战性的航空图像数据集DOTA [35]和HRSC2016 [21]上进行的大量实验证明了我们方法的有效性。我们将我们的贡献总结为：（1）我们提出了一种用于高质量航空物体检测的旋转等变探测器，它对旋转等变和旋转不变性进行编码。据我们所知，这是第一次将旋转等变性系统地引入定向目标检测。（2）我们设计了一种新型的RiRoI Align，从旋转等变特征中提取旋转不变特征。与其他RRoI warping方法不同，RiRoI Align在空间和方向维度上产生完全不变的旋转特征。（3）我们的方法分别在DOTA-v1.0、DOTA-v1.5和HRSC2016上达到了最先进的80.1、76.8和90.46 mAP。与之前的最佳结果相比，我们的方法获得了1.2、3.5和2.6 mAP的改进。与baseline相比，我们的方法显示出一致和实质性的改进，并将参数数量减少了60%（313 Mb vs. 121 Mb）。此外，我们的方法实现了更好的模型大小与精度权衡（如图2所示）。

Fig. 2. Model size vs. accuracy (mAP) on DOTA-v1.5.

【论文速递 | 精选】

论坛地址：https://bbs.csdn.net/forums/paper