Rethinking场景分析中的空间池化 | Strip Pooling(CVPR2020,何凯明)

点击上方“3D视觉工坊”,选择“星标”

干货第一时间送达

原文链接:https://arxiv.org/abs/2003.13328v1

代码链接:https://github.com/Andrew-Qibin/SPNet

主要思想和Contributions

Spatial pooling在捕获像素级预测任务(如场景解析)的long-range contextual信息方面已被证明是非常有效的。本文在传统的N×N型Spatial pooling的基础上,提出了一种考虑狭长核(1×N或N×1)的strip pooling策略,对Spatial pooling的形成进行了重新思考。基于strip pooling,进一步研究了Spatial pooling体系结构设计,本文的主要贡献:

1)引入了一个新的strip pooling模块,使backbone网络能够有效地模拟long-range依赖关系;

2)提出了一种以多种Spatial pooling为核心的新型模块MPM,并构建了SPNet;

3)系统地比较了所提出的strip pooling和传统Spatial pooling技术的性能;

这两种新的基于pooling的模块都是轻量级的,可以作为现有场景解析网络中的一个有效的即插即用模块。在ADE20K和CityScapes上进行的大量实验表明,本文的方法达到了SOTA。

网络结构

1、Strip pooling(SPM)

1. 如下图所示,使用Hx1和1xW尺寸的条状池化核进行操作,对池化核内的元素值求平均,并以该值作为池化输出值。

2. Hx1和1xW池化核处理后,使用1D Conv对两个输出feature map分别沿着左右和上下进行扩容,如下图所示,扩容后两个feature map尺寸相同,进行fusion(element-wise上的add)。

3. 采用element-wise multiplication的方式对原始数据和sigmoid处理后的结果进行处理,至此,strip pooling完成,输出结果。

2、MPM(Mixed Pooling Module)

这是本文独立于SPM之外的另外一个模块,具体来说,在每个子模块之前,首先是1×1卷积层用于channel缩减,如下图所示,两个子模块的输出串联在一起,然后送入另一个1×1卷积层进行channel扩展。

3、SPNet

论文基于SPM和MPM模块搭建了一个网络:SPNet,以残差网络作为backbone,详细结构请参考原文。

实验结果

论文在ADE20K、Cityscapes和Pascal Context数据集上进行了实验。

上述内容,如有侵犯版权,请联系作者,会自行删文。

推荐阅读:

吐血整理|3D视觉系统化学习路线

那些精贵的3D视觉系统学习资源总结(附书籍、网址与视频教程)

超全的3D视觉数据集汇总

大盘点|6D姿态估计算法汇总(上)

大盘点|6D姿态估计算法汇总(下)

机器人抓取汇总|涉及目标检测、分割、姿态识别、抓取点检测、路径规划

汇总|3D点云目标检测算法

汇总|3D人脸重建算法

那些年,我们一起刷过的计算机视觉比赛

总结|深度学习实现缺陷检测

深度学习在3-D环境重建中的应用

汇总|医学图像分析领域论文

大盘点|OCR算法汇总

重磅!3DCVer-知识星球和学术交流群已成立

3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导,700+的星球成员为创造更好的AI世界共同进步,知识星球入口:

学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

欢迎加入我们公众号读者群一起和同行交流,目前有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群,请扫描下面微信号加群,备注:”研究方向+学校/公司+昵称“,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加群或投稿

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

3D视觉工坊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值