ICCV2021 | TOOD：任务对齐的单阶段目标检测

最新推荐文章于 2024-06-17 16:33:07 发布

CV技术指南(公众号)

最新推荐文章于 2024-06-17 16:33:07 发布

阅读量4.6k

点赞数 2

分类专栏：论文分享文章标签：计算机视觉深度学习人工智能目标检测 ICCV2021

本文链接：https://blog.csdn.net/KANG157/article/details/121777097

版权

前言单阶段目标检测通常通过优化目标分类和定位两个子任务来实现，使用具有两个平行分支的头部，这可能会导致两个任务之间的预测出现一定程度的空间错位。本文提出了一种任务对齐的一阶段目标检测(TOOD)，它以基于学习的方式显式地对齐这两个任务。

TOOD在MS-CoCO上实现了51.1Ap的单模型单尺度测试。这大大超过了最近的单阶段检测器，如ATSS(47.7AP)、GFL(48.2AP)和PAA(49.0AP)，它们的参数和FLOPs更少。

本文来自公众号CV技术指南的论文分享系列

关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读。

论文：TOOD: Task-aligned One-stage Object Detection

代码：https://github.com/fcjian/TOOD

Background

目标检测通常被表示为通过联合优化目标分类和定位的多任务学习问题。由于分类和定位的学习机制不同，两个任务学习到的特征的空间分布可能不同，当使用两个单独的分支进行预测时，会导致一定程度的错位。

最近的一级目标检测器试图通过聚焦于目标的中心来预测两个独立任务的一致输出。他们假设位于对象中心的锚(即，无锚检测器的锚点，或基于锚的检测器的锚盒)可能给出分类和定位两者的更准确的预测。

例如，最近的FCOS和ATSS都使用中心度分支来增强从对象中心附近的锚点预测的分类分数，并为相应锚点的定位损失分配更大的权重。此外，FoveaBox将对象的预定义中心区域内的锚视为正样本。这样的启发式设计已经取得了很好的效果，但这些方法可能会受到两个限制：

(1)分类和定位独立。目前的单级检测器通过两个独立的分支(即头部)并行独立地进行目标分类和定位。这种由两个分支组成的设计可能会导致两个任务之间缺乏交互，从而导致在执行它们时预测不一致。如图1的“result”栏所示，TSS检测器(左上角)识别“餐桌”的对象(用红色块显示的锚点表示)，但更准确地定位“披萨”的另一个对象(红色边界框)。

图1：由ATSS(顶行)和TOOD(底行)预测的检测结果(‘Result’)以及分类得分(‘Score’)和定位得分(‘IoU’)的空间分布图示。

(2)与任务无关的样本分配。大多数无锚点检测器使用基于几何的分配方案来选择对象中心附近的锚点进行分类和定位，而基于锚点的检测器通常通过计算锚框和ground truth之间的IoUs来分配锚盒。然而，用于分类和定位的最佳锚点通常是不一致的，并且可能根据对象的形状和特征而变化很大。广泛使用的样本分配方案是与任务无关的，因此可能很难对这两个任务做出准确而一致的预测，如图1中ATSS的 ‘Score’ 和 ‘IOU’ 分布所示。‘Result’列还说明最佳定位锚(绿色块)的空间位置可能不在对象的中心，并且它与最佳分类锚(红色块)不能很好地对齐。因此，在非最大值抑制(NMS)过程中，精确的bounding box可能会被精度较低的bounding box所抑制。

创新思路

为了解决这些局限性，论文提出了一种任务对齐的一阶段目标检测(Task-aligned One-stage Object Detection, TOOD)，旨在通过设计一种新的头部结构和面向对齐的学习方法来更精确地对齐这两个任务：

针对传统的一步法目标检测中分类和定位分别采用两个分支并行实现的特点，设计了一种任务对齐头(T-Head)，以增强两个任务之间的交互性。这使得这两项任务能够更协作地工作，进而更准确地调整它们的预测。T-Head在概念上很简单：它计算任务交互特征，并通过一种新颖的任务对齐预测器(TAP)进行预测。然后，它根据任务对齐学习提供的学习信号对两个预测的空间分布进行对齐，如下所述。

为了进一步克服未对齐问题，论文提出了一种任务对齐学习(TAL)来明确两个任务的最优锚点之间的距离。它是通过设计一个样本分配方案和一个与任务相关的损失来执行的。样本分配通过计算每个锚点的任务对齐度来收集训练样本(正样本或负样本)，而任务对齐损失逐渐统一最佳锚点，以便在训练期间预测分类和定位。因此，在推断时，可以保留分类得分最高并且共同具有最精确定位的边界框。

提出的T-Head和学习策略可以协同工作，在分类和定位两个方面做出高质量的预测。论文的主要贡献可以概括为：

(1)设计了一种新的T-Head，在保持分类和定位特征的同时，增强了分类和定位之间的交互，并进一步将两个任务在预测上对齐；

(2)论文提出了TAL，在识别出的任务对齐锚点上显式地对齐两个任务，并为所提出的预测器提供学习信号；

(3)论文在MSCOCO上进行了广泛的实验，TOOD达到了51.1AP，超过了现有的单级检测器，如ATSS。定性结果进一步验证了任务对齐方法的有效性。

Methods

与最近的单级探测器类似，TOOD具有一个“主干-FPN-头”的整体流水线。此外，考虑到效率和简单性，TOOD在每个位置使用一个锚点(与ATSS相同)，其中“锚”是指anchor-free检测器的锚点，或者是anchor-based检测器的锚盒。

图2. TOOD的整体学习机制。

首先，T-Head对FPN特征进行预测。其次，使用预测来计算每个锚点处的任务对齐度量，基于该度量，TAL为T-Head产生学习信号。最后，T-Head对分类和定位的分布进行了相应的调整。具体地说，对齐程度最高的锚点通过“Prob”(概率图)获得更高的分类分数，并通过学习的“偏移量”获得更准确的边界框预测。

如图2所示，T-Head和TAL可以协作改进两项任务的一致性。具体地说，T-Head首先对FPN特征进行分类和定位预测。然后，TAL基于一种新的任务对齐度量来计算任务对齐信号，该度量度量测量两个预测之间的对齐程度。最后，T-Head在反向传播过程中使用TAL计算的学习信号自动调整其分类概率和定位预测。