加入极市专业CV交流群,与6000+来自腾讯,华为,百度,北大,清华,中科院等名企名校视觉开发者互动交流!更有机会与李开复老师等大牛群内互动!
同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流。关注 极市平台 公众号 ,回复 加群,立刻申请入群~
作者:谢恩泽
来源:https://zhuanlan.zhihu.com/p/84890413
本文已经作者授权,未经许可不得二次转载
今天介绍一下我们的PolarMask, 一种single shot的实例分割框架,文章在https://arxiv.org/abs/1909.13226 ,代码最近在整理中,即将在https://github.com/xieenze/PolarMask 开源,请大家多多关注。
PolarMask基于FCOS,把实例分割统一到了FCN的框架下。在4月份FCOS挂出来之后,我和沈老师就一直在讨论如何进把instance segmentation融合进FCN里。FCOS本质上是一种FCN的dense prediction的检测框架,可以在性能上不输anchor based的目标检测方法,让行业看到了anchor free方法的潜力。接下来要解决的问题是实例分割。这个工作我个人觉得最大的贡献在于,把更复杂的实例分割问题,转化成在网络设计和计算量复杂度上和物体检测一样复杂的任务,把对实例分割的建模变得简单和高效。Mask R-CNN首先回顾一下之前最经典的实例分割方法,‘先检测再分割’,在这方面做到极致的算法是Mask RCNN。
![1c9934461650ea7a9ec72becefc0f06e.png](https://i-blog.csdnimg.cn/blog_migrate/42001a78a9162c89e5d36a5943f3fb5c.jpeg)
Mask R-CNN属于基于两阶段的检测算法,在检测框的基础上进行像素级的语义分割,简化了实例分割的难度,同时取得了stoa的性能,在'先检测再分割’ 这一范式上做到了极致。
PolarMask
我们的PolarMask提出了一种新的instance segmentation建模方式,通过寻找物体的contour建模,提供了一种新的方法供大家选择。
两种实例分割的建模方式
1、像素级建模 类似于图b,在检测框中对每个pixel分类2、轮廓建模 类似于图c和图d,其中,图c是基于直角坐标系建模轮廓,图d是基于极坐标系建模轮廓
![0211ee195b83c12d9ef246c82fe10125.png](https://i-blog.csdnimg.cn/blog_migrate/8298ffa7f9f73d720be9af975e8f3e0f.jpeg)
可以看到Mask R-CNN属于第一种建模方式,而我们提出的PolarMask属于图d建模方式。图c也会work,