小目标检测研究

PART.01

引言

遥感图像具有幅面大、场景多样和成像高度多变等特点，因而包含大量尺寸极其有限的目标。例如在同一幅机场场景光学遥感图像中，飞机和车辆往往同时出现，而由于尺寸层面的天然差异，车辆目标往往仅占据几十个像素。

在不同场景下定义小目标的标准不尽相同，但现有的定义方式按学术上可主要分为两类：

（1）基于相对尺度：即从目标与图像的相对比例这一角度考虑来对小目标进行定义。如下定义：同一类别中所有目标实例的相对面积，即边界框面积与图像面积之比的中位数在0.08%~0.58%之间。除此以外，较为常见的还有以下几种：①目标边界框的宽高与图像的宽高比例小于一定值，较为通用的比例值为0.1；②目标边界框面积与图像面积的比值开方小于一定值，较为通用的值为0.03；③根据目标实际覆盖像素与图像总像素之间比例来对小目标进行定义。

（2）基于绝对尺度：即从目标绝对像素大小这一角度考虑来对小目标进行定义。目前最为通用的定义来自于目标检测领域的通用数据集——MS COCO数据集，将小目标定义为分辨率小于32像素×32像素的目标。除了MS COCO之外，还有其他基于绝对尺度的定义，如在航空图像数据集DOTA与人脸检测数据集WIDER FACE中都将像素值范围在[10,50]之间的目标定义为小目标。在行人识别数据集CityPersons中，将小目标定义为了高度小于75像素的目标。基于航空图像的小行人数据集TinyPerson则将小目标定义为像素值范围在[20,32]之间的目标。

PART.02

主要挑战

1.特征表示瓶颈

基于深度学习的目标检测算法依赖于主干网络获得的高维特征，即通过降低空间分辨率减少冗余，提升通道维度获得在高维空间可分的良好特征表示。这一范式已被证明在计算机视觉和自然语言处理等多个领域卓有成效。然而，具体到小目标检测任务，这种机制有着不可忽视的天然缺陷。小目标区域较小，包含信息有限，因而经过主干网络的下采样操作之后，空间维度上信息损失较大。飞机和小车仅经过两个卷积层和池化层后 ，其 特 征 响 应 就 变 得 十 分 微 弱 。以 ResNet为例，其主干网络的输出层相较原图的下采样倍数为32，即目标在主干网络的输出特征图上仅占据1个像素点。凭1个像素点所含信息进行后续的分类和回归任务，难度可想而知。与此同时，浅层特征虽然可以缓解空间信息损失，但对光照、亮度、噪声和形变等因素较为敏感，同样会干扰检测。因而，如何在避免深度网络造成信息损失的同时，保证良好的特征表达能力，是小目标检测面临的一个瓶颈问题。

2.前背景混淆

遥感影像往往幅面较大且覆盖区域广，因而场景内背景复杂问题突出。与此同时，小目标信息有限，尤其对于 SAR 图像和红外图像而言，由于缺乏色彩信息，目标成像仅具备结构和纹理特征，甚至只有点信息，很容易淹没在背景和噪声中。油罐类目标（成像区域很小，极易淹没在复杂的背景中，由此带来的前背景混淆和漏检是小目标检测发展的一个关键挑战。

3.回归分支敏感

分类和回归是目标检测的两个基本任务，前者旨在识别目标类别，后者则使用边界框输出目标的位置信息，最终的性能指标使用真实框和预测框的交并比（IoU）进行评估。然而，对于小目标而言，模型训练过程中预测框的轻微偏移都会带来IoU的剧烈波动。对于1个像素的目标而言，预测框对角线方向的偏移会使其与真实框的IoU急剧变化，6个像素的偏移使IoU变为32.5%，偏移量为12像素时，IoU仅为8.7%。回归分支的敏感性不仅影响着正负样本分配，也给网络的整体优化带来困难。

4.可利用特征少

无论是从基于绝对尺度还是基于相对尺度的定义,小目标相对于大/中尺度尺寸目标都存在分辨率低的问题。低分辨率的小目标可视化信息少,难以提取到具有鉴别力的特征,并且极易受到环境因素的干扰,进而导致了检测模型难以精准定位和识别小目标。

5.定位精度要求高

小目标由于在图像中覆盖面积小,因此其边界框的定位相对于大/中尺度尺寸目标具有更大的挑战性。在预测过程中,预测边界框偏移一个像素点,对小目标的误差影响远高于大/中尺度目标。此外,现在基于锚框的检测器依旧占据绝大多数,在训练过程中,匹配小目标的锚框数量远低于大/中尺度目标,这进一步地导致了检测模型更侧重于大/中尺度目标的检测,难以检测小目标。

6.样本不均衡

为了定位目标在图像中的位置,现有的方法大多是预先在图像的每个位置生成一系列的锚框。在训练的过程中,通过设定固定的阈值来判断锚框属于正样本还是负样本。这种方式导致了模型训练过程中不同尺寸目标的正样本不均衡问题。当人工设定的锚框与小目标的真实边界框差异较大时,小目标的训练正样本将远远小于大/中尺度目标的正样本,这将导致训练的模型更加关注大/中尺度目标的检测,而忽略小目标的检测。如何解决锚框机制导致的小目标和大/中尺度目标样本不均衡问题也是当前面临的一大挑战。

7.小目标聚集问题

相对于大/中尺度目标,小目标具有更大概率产生聚集现象。当小目标聚集出现时,聚集区城相邻的小目标通过多次降采样后,反应到深层特征图上将聚合成一个点,导致检测模型无法区分。当同类小目标密集出现时,预测的边界框还可能会因后处理的非极大值抑制操作将大量正确预测的边界框过滤,从而导致漏检情况。另外,聚集区域的小目标之间边界框距离过近，还将导致边界框难以回归，模型难以收敛。

8.网络结构原因

在目标检测领域,现有算法的设计往往更为关注大/中尺度目标的检测性能。针对小目标特性的优化设计并不多,加之小目标自身特性所带来的难度,导致现有算法在小目标检测上普遍表现不佳。虽然无锚框的检测器设计是一个新的发展趋势,但是现有网络依旧是基于锚框的检测器占据主流。而锚框这一设计恰恰对小目标极不友好。此外,在现有网络的训练过程中,小目标由于训练样本占比少，对于损失函数的贡献少，从而进一步减弱了网络对于小目标的学习能力。

最后

如果你想要进一步了解更多的相关知识，可以关注下面公众号联系~会不定期发布相关设计内容包括但不限于如下内容:信号处理、通信仿真、算法设计、matlab appdesigner，gui设计、simulink仿真…希望能帮到你！