【深度学习】FPN(特征金字塔)简介:Feature Pyramid Networks for Object Detection

【深度学习】FPN(特征金字塔):Feature Pyramid Networks for Object Detection

提示:博主取舍了很多大佬的博文并亲测有效,分享笔记邀大家共同学习讨论

---

前言

特征金字塔是处理多尺度物体检测问题的一个基础组成部分,论文主要是用来解决Faster RCNN物体检测算法在处理目标物体多尺度变化问题时的不足,通过构造一种独特的特征金字塔来避免图像金字塔的计算量过高的问题，同时能较好的处理物体检测中的多尺度变化问题。

---

一、FPN论文

1.论文信息

• 论文名称: Feature Pyramid Networks for Object Detection
• 发表时间: 2016 Computer Vision and Pattern Recognition
• 下载地址: https://arxiv.org/pdf/1612.03144.pdf
• github地址: https://github.com/unsky/FPN

2 内容简介

识别大小不同的物体是计算机存在的一个挑战,主要在于卷积过程中小目标的特征消失现象,因此如何处理大范围尺度变化的物体是计算机视觉中的一个基本问题。

• Featurized image pyramid(图像金字塔)
  ,将图像缩放到不同的尺度,然后在不同尺度的图像上生成对应的特征并在此基础上进行预测。缺点在于增加了计算和时间成本,效率低。
• Single feature map(单个高层特征图)
  在最终的特征图上进行预测,即仅采用网络最后一层的特征。缺点在于小目标、不同遮挡程度目标检测能力差。
• Pyramidal feature hierarchy(金字塔型特征层级)
  没有上采样过程的多尺度特征融合方式,即从网络不同层抽取不同尺度的特征做预测，不会增加额外的计算量。缺点在于精度较低。
• Feature Pyramid Network(特征金字塔)
  顶层特征通过上采样和低层特征做融合,将不同特征图的特征进行了融合并在融合后的特征图上分别进行预测。相比其他几种方案精度更高。

3.FPN结构详解

概括为一句话:自底向上,自顶向下,横向连接。

• step1(自底向上):过程和普通的CNN没有区别,按照输出特征图分辨率大小划分为不同的stage,前后相邻的stage之间特征图的尺度比例缩小一半,通道数则增加一倍。
• step2(自顶向下):通过2倍上采样(up-sampling)放大高stage的特征图分辨率,与低stage的特征图分辨率大小保持一致。上采样方式采用邻近插值算法。
• step3(横向连接):底层特征图通过进行一个1x1卷积操作与高层经过上采样放大后的特征图保持通道数一致,最后用相加的方法进行融合。

二、代码解析

提示：具体代码解析将在目标检测Fast RCNN等应用中具体详细展现,后续会做补充

总结

为了处理物体大小差异十分明显而导致的多尺度变化检测的诸多问题,论文提出了特征金字塔的网络结构，能在增加极小的计算量的情况下,处理好物体检测中的多尺度变化问题

提示:博主取舍了很多大佬的博文并亲测有效,分享笔记邀大家共同学习讨论