《Imbalance problems in object detection: A review》笔记

简介

论文《Imbalance problems in object detection: A review》对目标检测中的不平衡问题做了综合的叙述。该论文对目标检测的不平衡问题做了系统性的分类，根据相关的输入属性，把不平衡问题划分成4大类，8个小类。

与类别的不平衡问题相关的输入属性是不同类别的输入的边框数量，这也是这个类别的分类依据。前景类和背景类的边框数不同导致了前景-背景类别不平衡问题。而前景类中不同类别的边框数不同导致了前景-前景类别不平衡问题。

对象/边框的尺度不平衡问题的划分依据的是输入图片和真实边框的尺度。不同对象/边框具有不同的尺度，这些尺度分布得不均匀，造成了对象/边框的尺度不平衡问题。

特征不平衡问题划分依据是骨架网络的不同抽象层对特征层的贡献。这句话用一个例子来解释，例如低级细节特征和高级语义特征对特征层的贡献度不同。R-CNN使用的RoI特征一般来自骨干网络的最后一层特征层，该层主要包含高级语义特征，几乎不含低级细节特征。低级特征和高级特征含量的不同会影响检测的效果。

回归损失的不平衡问题的划分依据是单独样本对回归损失的贡献。不同的样本会产生不同的回归损失，离群点（outlier）会产生很大的损失，占据总回归损失的很大一部分，影响回归器的训练。

IoU分布不平衡问题的划分依据是正样本的边框的IoU分布。正样本的IoU分布有很大的偏向性，比如偏向IoU=0.5，影响检测器的检测效果。

对象位置不平衡问题的划分依据是对象在图片中的位置。在实际情况下，对象不可能均匀地落在图片的各个位置。

目标不平衡问题的划分依据是不同任务对总损失的贡献。目标检测是一个多目标任务，包括分类和回归。分类损失和回归损失的不平衡会影响各自的优化。

在目标检测训练流程中，每个阶段都会出现1个或者多个不平衡问题，下图显示了每个流程出现的其中一个不平衡问题，（a）是目标检测的训练流程，（b）是出现的不平衡问题。

下面我会详细地描述不同不平衡问题和相关的解决方法。

类别不平衡

类别的不平衡可以通过下图类别统计直方图直观地表现出来。

前景-背景类别不平衡

定义 在前景-背景类不平衡问题中，代表过多的类和代表不足的类分别是背景类和前景类。这种类型的问题是不可避免的，因为如上图所示，大多数边框被标记为背景（即负）类。前景-背景不平衡问题是在训练期间发生的，它不取决于数据集中每个类的例子数，因为它们在背景上不包含任何注释。

解决方法包括hard sampling methods、soft sampling methods、sampling-free methods和generative methods。

采样的方法科学的描述是，每个样本对分类损失都有一个贡献度，或者说权重。hard sampling methods 的每个样本的权重取值范围是 { 0 , 1 } \{0,1\} { 0,1}，所以说是hard，而soft sampling methods的每个样本的权重取值范围是$[0$