【Network Architecture】Feature Pyramid Networks for Object Detection(FPN)论文解析（转）

最新推荐文章于 2022-09-26 11:30:18 发布
最新推荐文章于 2022-09-26 11:30:18 发布
阅读量160 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44538273/article/details/88407542
版权
本文介绍了FPN（Feature Pyramid Networks）论文，它解决了多尺度目标检测的问题，通过特征融合利用低层的高分辨率和高层的高语义信息。FPN在RPN和Fast R-CNN中表现出色，特别是在小目标检测上。实验结果显示，FPN在COCO数据集上刷新了单模型检测方法的记录，且在GPU上运行效率高。
摘要由CSDN通过智能技术生成

【Network Architecture】Feature Pyramid Networks for Object Detection(FPN)论文解析（转）

目录

0. 前言

  这篇论文提出了一种新的特征融合方式来解决多尺度问题， 感觉挺有创新性的， 如果需要与其他网络进行拼接，还是需要再回到原文看一下细节。这里转了两篇比较好的博客作为备忘。

1. 博客一

这篇论文是CVPR2017年的文章，采用特征金字塔做目标检测，有许多亮点，特来分享。

论文：feature pyramid networks for object detection
论文链接：https://arxiv.org/abs/1612.03144

论文概述：

作者提出的多尺度的object detection算法：FPN（feature pyramid networks）。原来多数的object detection算法都是只采用顶层特征做预测，但我们知道低层的特征语义信息比较少，但是目标位置准确；高层的特征语义信息比较丰富，但是目标位置比较粗略。另外虽然也有些算法采用多尺度特征融合的方式，但是一般是采用融合后的特征做预测，而本文不一样的地方在于预测是在不同特征层独立进行的。
代码的话应该过段时间就会开源。

论文详解：

下图FIg1展示了4种利用特征的形式：
（a）图像金字塔，即将图像做成不同的scale，然后不同scale的图像生成对应的不同scale的特征。这种方法的缺点在于增加了时间成本。有些算法会在测试时候采用图像金字塔。
（b）像SPP net，Fast RCNN，Faster RCNN是采用这种方式，即仅采用网络最后一层的特征。
（c）像SSD（Single Shot Detector）采用这种多尺度特征融合的方式，没有上采样过程，即从网络不同层抽取不同尺度的特征做预测，这种方式不会增加额外的计算量。作者认为SSD算法中没有用到足够低层的特征（在SSD中，最低层的特征是VGG网络的conv4_3），而在作者看来足够低层的特征对于检测小物体是很有帮助的。
（d）本文作者是采用这种方式，顶层特征通过上采样和低层特征做融合，而且每层都是独立预测的。

这里写图片描述

如下图Fig2。上面一个带有skip connection的网络结构在预测的时候是在finest level（自顶向下的最后一层）进行的，简单讲就是经过多次上采样并融合特征到最后一步，拿最后一步生成的特征做预测。而下面一个网络结构和上面的类似，区别在于预测是在每一层中独立进行的。后面有这两种结构的实验结果对比，非常有意思，因为之前只见过使用第一种特征融合的方式。

这里写图片描述

作者的主网络采用ResNet。
作者的算法大致结构如下Fig3：一个自底向上的线路，一个自顶向下的线路，横向连接（lateral connection）。图中放大的区域就是横向连接，这里1*1的卷积核的主要作用是减少卷积核的个数，也就是减少了feature map的个数，并不改变feature map的尺寸大小。

这里写图片描述

自底向上其实就是网络的前向过程。在前向过程中，feature map的大小在经过某些层后会改变，而在经过其他一些层的时候不会改变，作者将不改变feature map大小的层归为一个stage，因此每次抽取的特征都是每个stage的最后一个层输出，这样就能构成特征金字塔。
自顶向下的过程采用上采样（upsampling）进行，而横向连接则是将上采样的结果和自底向上生成的相同大小的feature map进行融合（merge）。在融合之后还会再采用3*3的卷积核对每个融合结果进行卷积，目的是消除上采样的混叠效应（aliasing effect）。并假设生成的feature map结果是P2，P3，P4，P5，和原来自底向上的卷积结果C2，C3，C4，C5一一对应。

贴一个ResNet的结构图：这里作者采用Conv2，CONV3，CONV4和CONV5的输出。因此类似Conv2就可以看做一个stage。

这里写图片描述

作者一方面将FPN放在RPN网络中用于生成proposal，原来的RPN网络是以主网络的某个卷积层输出的feature map作为输入，简单讲就是只用这一个尺度的feature map。但是现在要将FPN嵌在RPN网络中，生成不同尺度特征并融合作为RPN网络的输入。在每一个scale层，都定义了不同大小的anchor，对于P2，P3，P4，P5，P6这些层，定义anchor的大小为32^2,64^2,128^2,256^2，512^2，另外每个scale层都有3个长宽对比度：1:2，1:1，2:1。所以整个特征金字塔有15种anchor。

正负样本的界定和Faster

最低0.47元/天 解锁文章
急流勇进
关注
[深度学习] Feature Pyramid Networks for Object Detection论文阅读
小黑_BUPT的博客
06-08 446
Feature Pyramid Networks for Object Detection论文阅读摘要介绍Related WorkFPNbottom-up pathway （左边部分）Top-down pathway and lateral connections. （右边部分）ApplicationsFeature Pyramid Networks for RPNFeature Pyramid ...
FPN
DL_CreepingBird的博客
11-20 1290
Feature Pyramid Networks for Object Detection 前言 这篇论文主要使用特征金字塔网络来融合多层特征，改进了CNN特征提取。论文在Fast/Faster R-CNN上进行了实验，在COCO数据集上刷到了第一的位置，意味着其在小目标检测上取得了很大的进步。论文整体思想比较简单，但是实验部分非常详细和充分。此博文对主要内容进行了翻译和理解工作，不足之处，
Feature Pyramid Networks for Object Detection论文理解
m0_46378271的博客
05-25 517
Abstract 特征金字塔是识别系统中用于检测不同尺度目标的基本组成部分。但最近的深度学习对象检测器避免了金字塔表示，部分原因是它们是计算和内存密集型的。在本文中，我们利用深层卷积网络固有的多尺度金字塔层次结构来构造具有边界额外成本的特征金字塔。开发了一种具有横向连接的自顶向下体系结构，用于在所有尺度上构建高级语义特征图。这种称为特征金字塔网络（FPN）的体系结构作为通用特征提取器，在一些应用中展现了显著的提升。在一个基础的更快的R-CNN系统中使用FPN，我们的方法在COCO检测基准上实现了sota的单
【经典论文阅读】Feature Pyramid Networks for Object Detection
三木今天学习了嘛の博客
09-26 2169
阅读了FPN特征金字塔论文，在文末给出自己的总结理解，并且会去尝试复现论文中提到的实验，同样在文末总结中给出。
目标检测之FPN：Feature Pyramid Networks for Object Detection论文学习
qq_41950533的博客
08-03 319
0.摘要 感觉和我的放大镜原理十分相似，特征金子塔，但是他做的是全局特征级别的，我的是propel、bbox级别。他的目的是充分利用信息，我的目的是针对小目标 使用最近邻插值法进行特征扩增 解决的问题是目标检测在处理多尺度变化问题是的不足 1.特征金字塔 1.1多种方式的比较 (a). 通过图像金字塔来构建不同尺度的特征金字塔 对每一种尺度的图像进行特征提取，能够产生多尺度的特征表示，并且所有等级的特征图都具有较强的语义信息，甚至包括一些高分辨率的特征图。但是有着计算时间长和占用内存高的缺点，而且由于每
【FPN】Feature Pyramid Networks for Object Detection论文笔记
OneCoder的博客
08-09 466
1、摘要 Feature pyramids are a basic component in recognition systems for detecting objects at diferent scales.But recent deep learning object detectors have avoided pyramid representations, in part bec...
Feature Pyramid Networks for Object Detection.pdf
08-10
《Feature Pyramid Networks for Object Detection》这篇论文提出了一种新的特征提取方法，旨在解决计算机视觉领域中的一个核心挑战：即如何有效地识别不同尺度的目标。传统的目标检测算法通常依赖于特征金字塔...
论文翻译——Feature Pyramid Networks for Object Detection
b_dxac的博客
07-05 775
摘要： 特征金字塔是识别系统中用于检测不同尺度目标的基本组成部分。但是最近的深度学习对象检测器避免了金字塔表示，部分原因是它们是计算和内存密集型的。在这篇论文中，我们利用深卷积网路固有的多尺度金字塔层级，以边际额外成本建构特徵金字塔。提出了一种具有横向连接的自顶向下体系结构，用于构建各种尺度的高层语义特征图。这种被称为特征金字塔网络（FPN）的体系结构，作为一种通用的特征抽取器在一些应用中显示出了显著的改进。在基本更快的R-CNN系统中使用FPN，我们的方法在COCO检测基准上实现了最先进的单模型结果，没
特征金字塔-Feature Pyramid Networks for Object Detection
mjl_cv的博客
07-26 1513
特征金字塔-Feature Pyramid Networks for Object Detection 　　特征金字塔是用于检测不同尺度的对象的识别系统中的基本组件。但是最近的深度学习对象检测器已经避免了金字塔表示，部分原因是它们是计算密集型和内存密集型的。在本文中，我们利用深层卷积网络固有的多尺度金字塔层次结构来构造具有边际额外损失的特征金字塔。...
Feature Pyramid Networks for Object Detection 论文学习
calvinpaean的博客
03-29 418
Feature Pyramid Networks for Object Detection 论文地址：https://arxiv.org/abs/1612.03144
Feature Pyramid Networks for Object Detection(FPN)-论文阅读笔记
weixin_43749999的博客
05-10 2174
Feature Pyramid Networks for Object Detection FPN论文阅读笔记 //2022.5.9日下午16:18开始阅读 论文地址 Feature Pyramid Networks for Object Detection | IEEE Conference Publication | IEEE Xplore 论文目的 作者利用深卷积网络固有的多尺度金字塔层次结构，以边际额外成本构建特征金字塔。开发了一种具有横向连接的自上而下体系结构，用于在所有尺度上
精读论文：Feature Pyramid Networks for Object Detection（附翻译）
菜菜小孙的blog
07-31 1045
翻译 摘要 abstract： 在检测不同尺度物体的识别系统中，特征金字塔是一个基本的组件。但是最近的深度学习物体检测方法都避免了金字塔表达，在某种程度上因为需要大量计算和内存。在这篇文章，我们利用了深度卷积网络固有的、多尺度的、金字塔层级来构建几乎没有额外损失（marginal extra cost）的特征金字塔。我们提出了一个带有横向连接的自上而下的结构，用来建立所有尺度的高层语义特征图。这个被称为FPN的网络结构作为通用的特征提取器在不同应用中都展现了显著的改进。在一个基本的Faster R-CNN系
Feature Pyramid Network for Object Detection 论文笔记
Tianchao龙虾
05-01 208
Feature Pyramid Network for Object Detection 论文链接： https://arxiv.org/abs/1612.03144 一、Problem Statement 特征金字塔在识别系统中是一个基本的组成部分，用于在不同尺度上检测目标。但是因为传统的特征金字塔计算和存储花费太大，作者就提出以一个较小的额外花费来构建一个特征金字塔。 它是一个为了在所有尺度上建立高层次语义特征映射的一个自顶向下且含有旁支的结构。 (a)使用image pyramid，特征是通过不同图
Feature Pyramid Networks for Object Detection 论文笔记
热门推荐
Jesse_Mx的博客
01-17 2万+
论文地址：Feature Pyramid Networks for Object Detection前言这篇论文主要使用特征金字塔网络来融合多层特征，改进了CNN特征提取。论文在Fast/Faster R-CNN上进行了实验，在COCO数据集上刷到了第一的位置，意味着其在小目标检测上取得了很大的进步。论文整体思想比较简单，但是实验部分非常详细和充分。此博文对主要内容进行了翻译和理解工作，不足之处，欢
Panoptic Feature Pyramid Networks 论文笔记
Tianchao龙虾
11-02 218
Panoptic Feature Pyramid Networks CVPR 2019 论文链接: https://arxiv.org/abs/1901.02446 一、 Problem Statement 提出一个Panoptic Segmentation的baseline。目前的全景分割都是使用不同的网络进行实例分割和语义分割，并不够高效。 二、 Direction 使用一个统一的网络结构去实现两个任务，实例分割和语义分割，进一步实现全景分割。因此作者在基于FPN和Mask R-CNN，添加了一
FPN-Feature Pyramid Networks论文理解
小菜鸟的AI之路
08-03 5899
论文链接：https://arxiv.org/abs/1612.03144 FPN 创新点 低层特征信息与高层语义信息的特征融合 有利于小目标的检测 写在前面的话 FPN的全称是Feature Pyramid Networks[特征金字塔网络]， 图像金子塔是什么？图像金字塔其实在很早便被提出，像比如SIFT,SURF,HOG等传统的特征提取方法均使用了图像金字塔，想了解传统特...
FPN（ Feature Pyramid Network for Object Detection）论文详读
weixin_41963310的博客
12-28 192
Abstract 通过图像金字塔建立的特征金字塔是检测网络中重要的组成部分，但近些年使用较少的原因是因为它计算和存储开销较大，本文提出一个通过利用深度卷积网络固有的层次金字塔结构，使用侧向连接结合一个自上而下的外部结构，从而生成一个可以处理所有比例的、具有丰富语义信息的特征图。 Introduce 一般利用特征主要有上述四种形式：a)基于图像金字塔的特征金字塔，但需要较长的处理时间且需要较多的内存进行存储；b)单一特征图，现在state-of-the-art方法大多数都是采用这个方法，但是该方法对检测小型
（FPN）Feature Pyramid Networks for Object Detection论文阅读笔记
weixin_43422466的博客
07-16 293
文章目录（FPN）Feature Pyramid Networks for Object Detection论文阅读笔记2016Abstract1. Introduction2. Related Work3. Feature Pyramid Networks4. Applications4.1 Feature Pyramid Networks for RPN4.2 Feature Pyramid Networks for Fast R-CNN5. Experiments on Object Dete
feature pyramid networks for object detection
最新发布
06-28
### 回答1： 特征金字塔网络（Feature Pyramid Networks, FPN）是一种用于目标检测的神经网络架构。它通过在深层特征图上构建金字塔结构来提高空间分辨率，从而更好地检测小目标。FPN具有高效的多尺度特征表示和鲁棒性，在COCO数据集上取得了很好的表现。 ### 回答2： 特征金字塔网络（Feature Pyramid Networks，简称FPN）是一种用于目标检测的深度学习模型。该模型是由FAIR（Facebook AI Research）在2017年提出的，旨在解决单一尺度特征不能有效检测不同大小目标的问题。 传统的目标检测算法通常采用的是滑动窗口法，即在图像上以不同大小和不同位置进行滑动窗口的检测。但是，这种方法对于不同大小的目标可能需要不同的特征区域来进行检测，而使用单一尺度特征可能会导致对小目标的错误检测或漏检。FPN通过利用图像金字塔和多层特征提取，将不同尺度的特征合并起来，从而达到对不同大小目标的有效检测。 FPN主要分为两个部分：上采样路径（Top-Down Pathway）和下采样路径（Bottom-Up Pathway）。下采样路径主要是通过不同层级的卷积神经网络（CNN）来提取特征，每层都采用了非极大值抑制（Non-Maximum Suppression，NMS）方法来选择最具有代表性的特征。上采样路径则主要是将低层特征进行上采样操作，使其与高层特征的尺寸对齐，并与高层特征相加，实现特征融合。 FPN在目标检测中的优势体现在以下几个方面。首先，FPN可以提高模型对小目标的检测能力，同时仍保持对大目标的检测准确度。其次，FPN的特征金字塔结构可以在一次前向传递中完成目标检测，减少了计算时间。最后，FPN对于输入图像的尺寸和分辨率不敏感，可以在不同分辨率的图像上进行目标检测，从而适应多种应用场景。 总之，FPN是一种在目标检测领域中得到广泛应用的模型，其特征金字塔结构能够有效地解决单一尺度特征不足以检测不同大小目标的问题，并在检测准确率和计算效率方面取得了不错的表现。 ### 回答3： 特征金字塔网络是一种用于目标检测的深度学习模型，主要解决的问题是在不同尺度下检测不同大小的物体。在传统的卷积神经网络中，网络的特征图大小会不断减小，因此只能检测较小的物体，对于较大的物体则无法很好地检测。而特征金字塔网络则通过在底部特征图的基础上构建一个金字塔状的上采样结构，使得网络能够在不同尺度下检测不同大小的物体。 具体来说，特征金字塔网络由两个主要部分构成：共享特征提取器和金字塔结构。共享特征提取器是一个常规的卷积神经网络，用于提取输入图像的特征。而金字塔结构包括多个尺度的特征图，通过上采样和融合来获得不同尺度的特征表示。这些特征图之后被输入到后续的目标检测网络中，可以通过这些特征图来检测不同尺度的物体。 特征金字塔网络可以有效地解决目标检测任务中的尺度问题，并且在许多实际应用中表现出了优异的性能。例如，通过使用特征金字塔网络，在COCO数据集上得到的目标检测结果明显优于现有的一些目标检测算法。 总之，特征金字塔网络是一种非常有效的深度学习模型，可以处理目标检测任务中的尺度问题，提高模型在不同大小物体的检测精度。它在实际应用中具有很高的价值和应用前景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值