VarifocalNet: An IoU-aware Dense Object Detector 阅读笔记

介绍

• 无论是one-stage还是two-stage方法，通常都是生成一组具有分类分数的冗余边界框，然后通过NMS来删除同一对象上的重复边界框。
• 先前的工作通过使用分类分数或分类和预测定位分数的组合来对候选者进行排序，但是这两种方法都不会导致可靠的排名，反而会降低检测性能。
• 作者提出了一个基于FCOS和ATSS架构的IoU感知密集对象检测器，建议学习Iou-Aware分类分数作为对象存在置信度和定位精度的联合表示。
• 作者设计了一个新的损失函数——Varifocal Loss来训练一个密集的对象检测器使IACS回归。
• 作者设计了一种新的高效星形边界框特征表示法，用于预测IACS得分并改进边界框。

two-stage和multi-stage方法通常使用锚框来生成用于分类和回归的对象提议，one-stage直接分类和在不生成对象提议的情况下细分锚框。**这些目标检测方法中NMS需要依据候选检测目标的排序来进行筛选，因此这个排序的可靠性非常重要。**之前的方法是采用IOU分支与Centerness得分来作为大量候选检测的排序依据。但这些方法只能缓解分类得分和物体定位精度之间的不对齐问题。

作者提出：不采用预测一个额外的定位精确度得分，而是将其合并到分类得分中。也就是预测一个可以同时代表目标存在和定位精度的定位感知或IOU感知的分类得分。

从表1中可以看出：

• baseline + centerness 的AP为39.2

• baseline + centerness 替换为 gt_centerness ，AP为41.1

• baseline + centerness 替换为 gt_iou ， AP为43.5
  可以看出：使用预测的IOU得分与分类得分的乘积对检测进行跑排序并没有带来显著的提升。

• baseline + gt_cls，将gt位置的分类标签设置为1，这时候使用centerness会带来显著提升。

• baseline_gt_cls_iou，将gt的iou替换为gt_cls，作为分类得分，AP74.7，加上centerness反而会降低到67.4
  由实验可知：具有更高IOU的候选检测是高质量的检测结果，表明IOU感知的排序策略（IACS）是最有效的选择方案。

模型

VFNet建立在FPN之上，以FCOS和ATSS为基础网络，head输出的3个分支：Varifocal Loss,星形边界框特征表示和边界框优化。

• 星形边界框特征表示：由中间回归出的box的$(l^{\prime },t^{\prime },r^{\prime },b^{\prime })$进行星形box特征表示，然后经过卷积预测出box的四个距离缩放因子$(\Delta l,\Delta t,\Delta r,\Delta b)$。
• 边界框优化：由特征图回归出box的$(l^{\prime },t^{\prime },r^{\prime },b^{\prime })$，表示点(x,y)到左、上、右、下侧边界框的距离，然后与上面的缩放因子进行点乘来优化Box。
• 下面分支基于星形box特征表示，预测出IACS得分，并计算变焦损失。
• Varifocal Loss（变焦损失）是一种动态缩放的二元交叉熵损失，它采用了非对称训练实例加权方法，仅降低负样本的权重来解决训练期间的类别不平衡问题，而提高高质量正样本的权重来生成主要检测。
• 星形边界框特征表示使用九个固定采样点的特征来表示具有可变形卷积的边界框。这种特征表示可以捕获边界框的几何形状及其附近的上下文信息。

Focal Loss:

Varifocal Loss: 从Focal Loss中借鉴了样本加权思想来解决不平衡问题，不对称地对待正负样本的损失。

实验

单阶段检测网络SOTA

VFNet性能比较