浙大最近论文: 基于扩展FPN的小目标检测方法

最新推荐文章于 2024-08-11 00:01:59 发布

iFlyAI

最新推荐文章于 2024-08-11 00:01:59 发布

阅读量613

点赞数

分类专栏：推荐算法人工智能深度学习文章标签：算法 python 人工智能深度学习机器学习

原文链接：https://zhuanlan.zhihu.com/p/114167448

版权

人工智能同时被 3 个专栏收录

121 篇文章 7 订阅

订阅专栏

深度学习

86 篇文章 1 订阅

订阅专栏

推荐算法

5 篇文章 0 订阅

订阅专栏

Fly-AI竞赛服务平台 flyai.com

在开始学习之前推荐大家可以多在 FlyAI竞赛服务平台多参加训练和竞赛，以此来提升自己的能力。FlyAI是为AI开发者提供数据竞赛并支持GPU离线训练的一站式服务平台。每周免费提供项目开源算法样例，支持算法能力变现以及快速的迭代算法模型。

浙大最近论文: 基于扩展FPN的小目标检测方法

浙大arXiv上2020年3月16日上传论文"Extended Feature Pyramid Network for Small Object Detection"。

摘要：小目标检测仍然是一个尚未解决的挑战，因为很难仅提取几个像素大小的小目标信息。尽管在特征金字塔网络中进行尺度级别的相应检测可以缓解此问题，但各种尺度的特征耦合仍然会损害小目标检测的性能。本文提出了扩展特征金字塔网络（EFPN，extended feature pyramid network），它具有专门用于小目标检测的超高分辨率金字塔层。具体来说，其设计了一个模块，称为特征纹理迁移（FTT，feature texture transfer），该模块用于超分辨率特征并同时提取可信的区域细节。此外，还设计了前景-背景之间平衡（foreground-background-balanced）的损失函数来减轻前景和背景的面积不平衡问题。在实验中，所提出的EFPN在计算和存储上都是高效的，并且在清华-腾讯的小型交通标志数据集Tsinghua-Tencent 100K和微软小型常规目标检测数据集MS COCO上产生了最好的结果。

如图所示，是扩展特征金字塔网络（EFPN）的框架。这里Ci表示CNN骨干网第i阶段的特征图，Pi表示EFPN上的相应金字塔层。 EFPN的前4层是vanilla FPN层。特征纹理迁移（FTT）模块集成了P3中的语义内容和P2的区域纹理。然后，类似FPN的自顶向下（top-down）路径将FTT模块输出向下传递，形成最终的扩展金字塔层P'2。扩展的特征金字塔（P'2，P2，P3，P4，P5）被馈送到后续的检测器，以进行进一步的目标定位和分类。

顶部4层金字塔自顶向下构成，用于中型和大型目标检测。 EFPN的底部扩展在图中包含一个FTT模块，一个自上而下的路径和一个紫色金字塔层，旨在捕获小目标的区域细节。更具体地讲，在扩展中，特征超分辨率（SR）模块FTT将图中绿色-黄色层表示的EFPN第三层-第四层金字塔混合，产生具有所选区域信息的中间特征P'3，图中用蓝色菱形表示。然后，自上而下的路径将P'3与定制的高分辨率CNN特征图C'2合并，生成最终的扩展金字塔层P'2。

如表所示，在ResNet / ResNeXt 第二步（stage 2）删除了一个最大池化层，并将C'2作为第二步的输出。C'2与原始C2具有相同的表示级别，但是由于分辨率较高，因此包含更多的区域细节。 C'2中较小的接收场也有助于更好地定位小目标。从数学上讲，在提议的EFPN中扩展的操作可以描述为（上箭头表示上采样操作）

如图所示，是特征纹理迁移（FTT）模块的框架。输入特征P3的主要语义内容首先由内容提取器（content extractor）提取。然后，通过亚像素卷积将内容特征的分辨率提高一倍。纹理提取器（ texture extractor）从主流特征和参考特征的组合中选择可靠的区域纹理用于小目标检测。最后，残差连接（residual connection）有助于将纹理与超分辨的内容特征融合在一起，为扩展特征金字塔生成P'3层。

FTT模块的主要输入是EFPN第三层特征图P3，参考是EFPN第四层特征图P2。输出P'3可定义为（Et操作符表示纹理提取器，Ec操作符表示内容提取器）