Intrinsic Relationship Reasoning for Small Object Detection

我们提出了一种新的用于小对象检测的上下文推理方法，该方法对对象之间内在的语义和空间布局关系进行建模和推断。

传统的CNN是深度的卷积伴随着不可忽略的空间信息衰减，对小物体检测不大行。

因此，小目标检测的一个关键挑战是如何捕获语义强的特征，同时最小化空间信息衰减。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-x3nAgmcD-1636683152267)

它使用超分辨率网络对模糊的低分辨率图像进行上采样，以精细缩放高分辨率图像，并对检测结果进行细化

这种方法从根本上解决了空间信息衰减问题，但代价是计算量大。

在具有多个小对象的复杂场景中，属于同一类别的小对象往往具有相似的语义共生信息，同时往往具有相似的纵横比、比例，并在空间布局中以簇的形式出现。

人们不会把这些单独拿来看。而是整合所有物体的内在联系。这种现象启发我们探索如何建模和推断内在的语义和空间布局关系，以促进小对象检测。

全局上下文是一个方法。PSP Net[48]和DenstASPP[46]通过结合多尺度特征来模拟全局关系，从而扩大了卷积层的感受野。

可变形CNN[9]学习卷积采样位置的偏移量，可自适应确定尺寸或感受野大小。

此外，挤压和激励网络[19]（SENet）通过全局平均池操作对全局信息进行编码，以在每个阶段合并图像级描述符。

然而，这些方法仅仅依赖于坐标空间中的卷积来隐式地建模并在不同区域之间传递信息，如果他们能有效地处理这个问题，就有望挤出更好的性能。

相反，==图卷积网络（GCN）==通常被视为特征聚合/传播和特征变换的组合[44]，实现了一种全局推理能力，允许更远的地区彼此直接交流信息。

因此，GCN适合于从图像本身建模和推理成对的高阶对象关系，这有望有助于提高小对象检测。

重点：

本文提出了一种基于GCN的小目标检测上下文推理方法，对隐含的成对区域关系进行编码，并在区域之间传播语义和空间布局上下文信息

关系构建的流程图如图1（b）所示：

包含三个模块：

• 从初始区域特征建模稀疏语义关系的语义模块
• 空间布局模块，用于根据对象的位置和形状信息建模稀疏空间布局关系；
• 上下文推理模块，用于集成稀疏语义和空间布局上下文信息，以生成动态场景图并传播场景对象之间的上下文信息

贡献：

• 我们提出了一种上下文推理方法，可以有效地在区域之间传播上下文信息并更新初始区域特征，从而提高小目标检测的效率
• 我们设计了一个语义模块和一个空间模块，分别从图像本身建模语义和空间布局关系，而不引入外部手工语言知识。这种关系有助于识别在同一场景中属于相同类别的小对象
• 综合实验表明，本文提出的方法能够有效地提高小目标检测的效率。

RELATED WORK:

现有的对象检测器在具有多个小对象的复杂场景中存在性能瓶颈，因为它们很难在捕获语义强的特征和保留更多空间信息之间取得平衡

尽管SOD-MTGAN和野外人脸GAN的性能令人印象深刻，但由于引入了额外的超分辨率网络，它们的计算负担很高。

它们无法挖掘区域之间的相关性，这限制了它们小目标检测性能的提高。

关系挖掘的目