小目标检测综述

小目标研究的挑战：

由于小目标固有结构造成了视觉外观差和噪声表征。

用于小物体检测方法基准测试的大规模数据集也是一个瓶颈。

论文内容概括：

先对小目标检测进行全面回顾。

构建了两个大规模的小目标检测数据集（SODA）：SODA-D：驾驶场景；SODA-A：空中场景。

评估了主流方法在SODA上的性能。

为什么小目标检测结果会降低：

先进的目标检测网络（DyHead）对于小目标是28.3%，中型是50.3%,大型对象是57.5%。

性能下降的原因：

1.从有限和扭曲的小物体信息中学习正确的表征本身就很困难。

2.小物体检测的大规模数据集稀缺。

目前流行的特征提取器：对特征图进行向下采样，减少空间冗余并学习高维特征，这会造成微小物体的表示。

此外小物体特征在卷积处理后容易受到背景和其他实例的污染。

小目标检测工作分类：

（解决问题）此外小物体特征在卷积处理后容易受到背景和其他实例的污染。

面向样本的方法、规模感知方法、基于注意力的方法、特征模仿方法、上下文建模方法、聚焦检测方法。

小目标检测数据集：

小目标检测数据集：SOD、TinyPerson

通用数据集（包含相对数量的小对象）：WiderFace、SeaPerson、DOTA2

注意的内容：

微小和较小这两个术语由面积阈值或长度阈值定义。

以COCO为例，占地面积小于等于1024像素的物体属于小型物体。

主要挑战：

通常的挑战：类内差异、定位不准确、遮挡物体检测等。

SOD典型问题：对象信息丢失、特征表示噪声大、边界框扰动容忍度低、样本不足。

目前流行的物体探测器包括：一个主干网络、一个探测头。

噪声特征表示：小物体外观质量较差，因此学习具有判别力的表征是非常困难的。其次，小物体的区域特征容易 受到背景和其他实例的污染。

边界框扰动容忍度低：大多数检测范例中都被表述为一个回归问题。

小物体检测算法评述：

物体检测：一阶段、二阶段。

两阶段方法首先通过RPN（区域建议网络）产生高质量的建议、然后检测头将区域特征作为输入，分别执行后续的分类和定位。

单阶段方法在特征图上贴上密集锚点，直接预测分类分数和坐标。

以样本为导向的方法：

数据增强方法：RRNet、DS-GAN

优化标签分配：SFD、RFLA

规模感知方法：以往方法通常采用图像金字塔和滑动窗口方案来处理尺度差异问题。

一种通过设计多分支架构或量身定制的训练方案来构建特定尺度的检测器。

另一种是融合分层特征来实现小物体的强大表征。

特定规模探测器：不同深度或层次的特征只负责检测相应尺度的物体。

SDP、MS-CNN、DSFD、YOLOV3、特征金字塔网络、NAS-FPN、Recursive-FPN、SSH、TridentNet、QueryDet、SNIP

分层特征融合：可以整合不同深度的特征，从而为小物体获得更好的特征表示。

PANet：用双向路径丰富了特征层次，用精确的定位信号增强更深层次的特征。

多尺度特征融合、BiFPN：提出了双向特征金字塔网络。

多深度ROI的几何特征与全局特征进行合并。

StairNet 利用解卷积放大特征图。

M2Det：构建了并行分支，以级联方式描述由浅到深的特征，其中稀疏Ushape模块可用于捕捉小物体的更详细信息。

IPG-Net：将图像金字塔获得了一组不同分辨率的图像输入到设计的IPG变换模块中以提取浅层特征，补充空间信息和细节。

SSPNet：突出不同层中特定尺度的特征，并利用FPN中相邻层的关系来完成适当的特征共享。

基于注意力的方法：

KB-RANN：利用长期和短期注意力神经网络来关注图像特征的特定部分，从而增强小物体的检测。

SCRDet：设计了一种面向对象的检测器，通过对像素注意力和通道注意力进行有监督的训练消除噪声干扰的同时突出小物体区域。

FBR-Net：将无锚检测器FCOS平衡了不同金字塔级别的特征，增强了复杂情况下对小物体的学习能力。

Lu：设计了一个双路径模块，以突出小物体的关键特征，抑制非物体信息。

MSCCA：利用所提出的增强信道注意模块（ECA）。

Li：设计了一个跨层注意力模块，以获得更强的小物体响应。

特征忽略法：

由于小时里的信息量较少，导致表征质量不高，对于尺度有限的对象更糟糕。

缓解低质量问题的方法是通过模仿达吾提的区域特征来丰富小物体的区域特征。

两种两类：

通过相似性学习进行特征模仿和基于超分辨率的框架，通过挖掘不同尺度物体之间的内在关系。

基于相似性学习的方法：对一般的检测器施加额外相似性约束，从而缩小小物体和大物体之间的表征差距：

Wu提出了自我模仿学习方法，强制小规模行人的表征接近大规模行人的局部平均RoI特征。

Kim受人类视觉理解机制记忆过程的启发，设计了一种具有大规模行人回忆记忆的大规模嵌入学习方法，并在回忆损失下对整体架构进行优化。

基于超分辨率的框架：恢复小物体扭曲的结构，而不是简单的放大其模糊的外观。

借助解卷积和子像素卷积技术：获得了专门用于小物体检测的高分辨率特征。

自监督学习范式：提出一种引导式特征上采样模块，以学习具有详细信息的上标特征表征。

MTGAN:利用生成器网络对ROIs补丁进行超分辨率处理。

PerceptialGAN：挖掘和利用小尺度和大尺度物体之间的内在相关性，其中生成器将小物体的弱表征映射到超分辨率上。

上下文建模方法：可以利用环境与物体之间的关系或物体之间的关系来对物体和场景的识别。（上下文：能够捕捉语义或空间关联的先验知识）：

IONet：通过两个思想IRNN结构计算全局上下文特征，从而更好的检测小型和严重遮掩的物体。

Chen等人采用了包含提议补丁的上下文区域表征来进行后续识别。

Hu等人研究了如何有效的编码对象范围外的区域，并以尺度不变的方式为局部上下文信息建模以检测微小人脸。

PyramidBox充分利用上下文线索找到与背景无法区分的小而模糊的人脸。

SINet假设原始的ROI池操作会破坏小物体结构，因此引入了上下文感知RoI池层以保持上下文信息。

R2-CNN采用全局关注块来抑制误报，并有效地检测大规模遥感图像中的小物体。

FS-SSD：利用隐含的空间上下文信息，即类内实例和类间实例之间的距离来重新检测低置信度的对象。

FU等人引入了语境推理模块来捕捉不同区域之间的内在关系并传播语义和空间相关性。

Pato利用预测中的上下文信息来恢复可信度并提高最终精度。

Zhang等人利用小物体与全局场景（全局上下文）及其邻近实例（局部上下文）之间的相关性来提高性能。

Cui等人设计了一个情景感知区块，将多尺度上下文线索与金字塔形扩张卷积整合在一起。

聚焦检测方法：高分辨率图像中的小物体往往分布不均匀，一般的分割检测方案会在这些空斑块上消耗过多的计算量，导致推理过程效率低下。首先抽象出包含目标的区域，然后再对其进行检测。

ClusDet：聚类检测网络充分利用物体之间的语义和空间信息来生成聚类芯片，然后进行检测。

Duan等人利用像素监督来进行密度估计，获得了更精确的密度图，很好的描述了物体的分布特征。

CRENet设计了一种聚类算法，用于自适应的搜索聚类区域。