【目标检测】目标检测中的标签分配

一、前言

在目标检测任务中，标签分配起着关键的作用，其目的是将样本划分成正样本和负样本，然后与GT之间计算loss，决定模型如何学习和收敛。

二、标签分配方法的分类

2.1 标签是否非负

标分配策略，是一个预定义的规则，能够分配每个anchor的正负，也就是一个gt会对应多个anchor。 常用的label assignment是Max IOU Assign，具体流程：

• 首先，对于GT box($N$个)和anchor($M$个)，两两计算彼此的IoU，构建matching matrix；
• 通过 IoU 的阈值来进行判定正负样本。当 IoU 介于0.4和0.5之间为ignore区间，当 IoU 大于0.5的时候为正样本区间，其他的情况为负样本区间。

根据标签是否非负即正负分为硬标签分配和软标签分配两大类。

硬标签分配方法主要利用预设框或预测框与gt框比较的结果区分正负样本，样本非负即正。根据正负样本阈值是否动态变化，硬标签分配方法细分为静态和动态两类。

• 静态标签分配方法主要基于距离、IoU等先验知识设置固定阈值去区分正负样本，如FCOS、两阶段检测算法、RFLA等；
• 动态标签分配方法则根据不同策略动态设置阈值选择正负样本，如ATSS、PAA、OTA、DSL、SimOTA等。

硬标签分配本质上不区分训练过程中不同质量的预测框，即样本非负即正。

软标签分配方法会基于预测结果与真实框计算软标签和正负权重，在选侯正样本（一般为落在GT内点）的基础上根据正负权重潜在分配正负样本和计算损失，且会在训练过程中动态调整软标签和正负权重，如GFL、VFL、TOOD、DW等。

2.2 是否有预测结果参与

根据是否有预测结果参与，标签分配方法分为基于先验和基于预测两类。

• 基于先验的方法仅利用训练前就已知的先验信息（距离、IoU等）去进行标签分配，本质上当网络结构和数据集确定后，正负样本的分配就已经确定且不会在训练过程改变，包括静态标签分配和部分动态标签分配方法，如FCOS、ATSS等。
• 基于预测的方法则会根据模型预测结果和GT框的耦合结果去动态匹配正负样本，正负样本会跟随训练过程动态变化，理论上只要模型预测的越准确，匹配算法求的结果也会更优秀。