Path Aggregation Network for Instance Segmentation解读

最新推荐文章于 2024-08-26 22:14:48 发布
最新推荐文章于 2024-08-26 22:14:48 发布
阅读量1.3w 收藏 32
点赞数 17
分类专栏： 深度学习 论文学习笔记 detection 文章标签： instance segmentation object detection deep learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013010889/article/details/79485296
版权

本篇论文是COCO 2017 instance segmentation的冠军，读了这篇论文再加上之前读论文的体会，和朱神交流后得到一个感悟: 同样一个work的小改动，你不能挖的深或者看得很浅，那你就是trick，而别人就能给科研界带来启发，ResNet很简单，但是kaiming他们就能把解决的问题和起因经过解释的很清楚，然后实验也很solid，给你一步一步解释，但是方法是十分简洁的。arxiv link

Framework

这里写图片描述

主要分为3个模块也是3点贡献
1. 改进的FPN: Bottom-up Path Augmentation
2. 改进之前的pool策略: Adaptive Feature Pooling
3. 改进mask分支: Fully-connected Fusion

Bottom-up Path Augmentation

motivation

FPN已经证明了加入一条top-down的旁路连接，能给feature增加high-level的语义性有利于分类。
但是low-level的feature是很利于定位用的，虽然FPN中P5也间接得有了low-level的特征，但是信息流动路线太长了如红色虚线所示(其中有ResNet50/101很多卷积层)，本文在FPN的P2-P5又加了low-level的特征，最底层的特征流动到N2-N5只需要经过很少的层如绿色需要所示(仅仅有几个降维的卷积)

这里写图片描述

具体操作如下图所示，P2直接copy到N2，然后N2通过步长为2的3*3卷积后分辨率缩小2倍，和P3尺寸一致，然后element-wise 相加。注: 所有channel和FPN中一致P2-P5, N2-N5都是256。

这里写图片描述

这里就很有启示，只是简单加了low-level的特征，但是他们可以看到FPN信息流动的问题，能说出他们这样做的令人信服的道理以及后续的实验，虽然如何更直接地加low-level可能还有其他做法

Adaptive Feature Pooling

在FPN那篇论文的解读中我们也讲过FPN从P2-P6(P6仅用作生成proposal，不用作RoIPooling时提取特征)多尺度地生成proposal，然后做RoIPooling时会根据proposal的大小将它分配到不同的level去crop特征，小的proposal去low-level的层，大的proposal去high-level的层。

这样做虽然简单也蛮有效，但它不是最好的处理方式，尽管P2-P5(N2-N5)已经融合了low-level和high-level的特征，然后它们的主要特征还是以它本有的level为主 这时如果小的proposal能从high-level层获取到更多的上下文语义信息是有利于它分类的，而大的proposal能从low-leve层获取到更好的细节是有利于它定位的。

因此本文打算每个proposal从所有level的特征上做RoIPooling，然后在后面融合，融合的阶段和方式都可实验，比如分类时是两个fc，这个融合阶段可以是fuse, fc1, fc2或者fc1, fuse, fc2，融合策略可是sum也可以是max，最后证明fc1, fuse, fc2和max最好。当然这个改进是增加了一些运算负担。

这里写图片描述

然后最让我启发的是本文人家又做了实验，看看他们从所有level做RoIPooling有木有道理。因为我们后续融合时不是要做max融合嘛，这样我们可以看看到底是哪个level被选中了，这样计算一些比例。从下图可以到蓝色代表小的proposal，以此类推黄色是最大的proposal，我们以小的proposal为例，发现，只有30%确实是在最低的level被选中了，但是70%的feature值选中了更高的level。而最大的proposal，有超过50%的feature值选中了低的level(这也说明了给最高层加低层特征的必要性，即Bottom-up Path Augmentation的必要性)。

这也证明了从所有level做RoIPooling的必要性。

这里写图片描述

Fully-connected Fusion

Mask RCNN中Mask分支就是个简版的fcn，fcn是全卷积网络，它根据一个局部的视野域来预测，且参数是全图共享，而全连接fc是全图视野域对位置更敏感，看得更大，这一点sunjian老师的large kernel也间接证明了大视野域的作用。因此本文打算多加一条用全连接层预测的支路来做mask预测，然后和fcn融合，具体做法如下图所示，至于conv4_fc接在fcn支路哪一个卷积后后面消融实验有做对比，conv3后面结果更好一点。

这里写图片描述

Experiment

具体的消融实验部分不再贴出，详细见论文。总体的结果，backbone一个ResNet-50就打败了去年的冠军。

这里写图片描述

爆米花好美啊
关注
专栏目录
【深度学习】PANnet ，Path Aggregation Network for Instance Segmentation 用于实例分割的路径聚合网络
q742971636的博客
03-31 1595
论文：https://arxiv.org/pdf/1803.01534.pdf 香港中文大学 2018 作品。 作者通过研究Mask R-CNN发现： （1）底层特征难以传达到高层次：features in low levels are helpful for large instance identification；But there is a long path from low-level structure to topmost features, increasing difficulty to
[深度学习论文笔记][CVPR 18]Path Aggregation Network for Instance Segmentation
KFXW的专栏
03-12 2544
本文提出了名为PANet的网络结构，用于物体检测(object detection)和实例分割(instance segmentation)任务。该网络基于FPN[1]和Mask RCNN[2]模型之上提出了三点创新，显著地提升了模型在物体检测和实例分割网络上的性能
实例分割--(PANet)Path Aggregation Network for Instance Segmentation
热门推荐
DFan的NoteBook
03-17 2万+
PANet Path Aggregation Network for Instance Segmentation 收录：CVPR2018(IEEE Conference on Computer Vision and Pattern Recognition) 相关： COCO2017/CityScapes instance segmentation 第一 论文提出了PANet，在Mask ...
Small Object Detection via Coarse-to-fine Proposal Generation and Imitation Learning
最新发布
w_gun的博客
08-26 912
在每一个阶段，之前的区域建议作为输入，在特征图上进行进一步的回归和优化，使得每个阶段的区域建议越来越精确。锚点：是一些预定义的边界框，它们在图像的不同位置和不同尺度上进行采样，以捕捉可能的目标，完善锚点的过程是对这些预定义的锚点进行调整和优化，使它们更准确地匹配图像中实际目标的大小和位置。在被认为具有视觉真实性的达吾提的引导下，解析还原尺寸受限实例的特征。1.我们建立了一个名为CRPN的从粗到细的建议生成通道，用于执行从锚点到建议的程序，其中基于区域的锚点挖掘策略和级联回归技术为小实例提供了高质量的建议。
【PANet】《Path Aggregation Network for Instance Segmentation》
bryant_meng
08-05 461
CVPR-2018，Pytroch code 文章目录1 Background and Motivation2 Advantages / Contributions3 Method3.1 Bottom-up Path Augmentation3.2 Adaptive Feature Pooling3.3 Fully-connected Fusion4 Experiments4.1 Datasets4.2 Experiments on COCO4.3 Experiments on Cityscapes..
[论文阅读]PANet(PAFPN)——用于实例分割的路径聚合网络
qq_53909832的博客
10-09 1万+
PANet（PAFPN）论文阅读
Path Aggregation Network for Instance Segmentation阅读笔记
FLY的博客
01-25 420
1.实例分割思想： 机器自动从图像中用目标检测方法框出不同实例，再用语义分割方法在不同实例区域内进行逐像素标记，区分不同物体和背景。 2.目前情况 文章研究者指出当前最优的 Mask R-CNN 中的信息传播还可以进一步优化。具体来说，低层级的特征对于大型实例识别很有用。但最高层级特征和较低层级特征之间的路径很长，增加了访问准确定位信息的难度。每个候选区域都是源于一个特征层次上的特征网络池化的，其...
【实例分割系列：二】PANet 论文 笔记解析 Path Aggregation Network for Instance Segmentation
鹿鹿的博客
09-19 3915
2018 CVPR COCO2017/CityScapes instance segmentation 第一 Instance Segmentation Path Aggregation Network for Instance Segmentation 代码地址 Mask R-CNN 中的信息传播 优化 Introduce 解决问题： 低层级的特征对于大型实例识别很有用， 最高层级特征和较低...
论文：Path Aggregation Network for Instance Segmentation
xxiaozr的博客
08-06 1403
Abstract       神经网络中信息传递的方式很重要。本文提出 PANet 网络来增强 proposal-based 实例分割的信息流。具体的，提出bottom-up path augmentation，adaptive feature pooling和complementary branch。 1.Introduction       Mask R-CNN是一个简单有效的实例分割...
path aggregation network for instance segmentation
03-16
Path Aggregation Network（PAN）是一种用于实例分割的神经网络结构。它通过在不同的尺度上聚合特征图，从而提高了实例分割的准确性和效率。PAN网络的核心思想是将不同尺度的特征图进行融合，以便在不同的层次上捕捉...
PANet：Path Aggregation Network for Instance Segmentation 阅读
chixia1785的博客
05-21 790
框架    本文研究者指出当前最优的 Mask R-CNN 中的信息传播还可以进一步优化。具体来说，低层级的特征对于大型实例识别很有用。但最高层级特征和较低层级特征之间的路径很长，增加了访问准确定位信息的难度。此外，每个建议区域都是基于从一个特征层级池化得到的特征网格而预测的，此分配是启发式的。由于其它层级的丢弃信息可能对于最终的预测还有用，这个流程还有进一步优化的空间。最后，掩码预测仅在单个视野...
Path Aggregation Network for Instance Segmentation
dawnyi_yang的博客
04-24 2267
摘要 论文提出了一种称为PANet（Path Aggregation Network）的能够提升基于proposal的实例分割框架中的信息流的模型。具体通过自下而上的路径增强，在下层用精确的位置信息增强整个特征层次，从而缩短下层和最上层特征之间的信息路径。同时提出了adaptive feature pooling，将feature grid和所有特征层联系起来，使每个特征层的有用信息直接传播到下面的proposal subnetworks。为进一步提高mask prediction能力，创建了一个捕捉每个p
[Paper Reading Note]Path Aggregation Network for Instance Segmentation
lovefreedom22的博客
01-31 273
Paper Reading Note URL: https://arxiv.org/pdf/1803.01534 TL;DR 提出PANet，在FPN的基础上加入一条bottom-up的路径，缩短了低层特征和高层特征之间的信息路径，加强了整体的特征结构；提出了adaptive feature pooling，池化过程中考虑所有尺度的特征；另外，在Mask RCNN中增加了额外的全连接分支以提升m...
Path Aggregation Network for Instance Segmentation（2018.9）
qihshe的博客
11-15 110
利用低层次存在的精确定位信号增强特征金字塔，创建自下而上的路径增强，设计自适应特征池，融合来自网络内特征层次的信息，仅使用一个fc层而不是多个fc层进行最终预测，避免了将隐藏的空间特征映射折叠成短特征向量的问题
论文阅读：Path Aggregation Network for Instance Segmentation
a486259的博客
09-20 445
信息在神经网络中的传播方式是非常重要的。在本文中，我们提出了路径聚合网络（PANet），旨在在基于所提出的实例分割框架中促进信息流。具体来说，我们通过自底向上的路径增强，利用底层中的精确定位信号来增强整个特征层次，缩短了下层与最上层特征之间的信息路径。我们提出了自适应特征池化，它将特征网格和所有特征级别连接起来，使每个特征级别上的有用信息直接传播到下面的子网。
极简笔记 Path Aggregation Network for Instance Segmentation
Hibercraft的博客
03-10 1719
极简笔记 Path Aggregation Network for Instance Segmentation 论文地址 https://arxiv.org/abs/1803.01534 本篇文章核心提出一个用于instance segmentation的网络PANet，如图三点改进： Bottom-up Path Augmentation 在FPN之后再加入从底层到高层的卷积操作...
论文Path Aggregation Network for Instance Segmentation笔记
cl2227619761的博客
06-11 1152
Path Aggregation Network for Instance Segmentation论文发表于2018CVPR，香港中文大学+北京大学+商汤科技+腾讯优图实验室 共同完成； 论文传送门 github代码传送门 摘要 在神经网络中，信息的传递方式非常重要。基于此，该论文在FPN的基础上提出PANet，用于改善信息在网络中的传递方式。具体体现在： bottom-up path augmentation，即自下而上的一条通路结构增强底层特征的传递，因为底层特征利于定位，所以将FPN融合后的特.
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值