前言
之前的笔记1-Fast-RCNN、笔记2-FCN、笔记3-Mask R-CNN、笔记4-FCOS其实都是为这一篇做的基础准备。如果需要,可以点击进行阅读。
一、实例分割的建模方法
简单来说,实力分割的方法可以分为像素级的建模和轮廓建模。下图中b就是像素级的分割,典型例子有Mask-Rcnn。而c、d则是轮廓建模。其中polar mask就属于d类的轮廓建模。
二、特点
- anchor free and bbox free(无需检测框)
- fullyconvolutional network(全卷积网络)
- 和Fcos相比,简单来说就是把4根线换成了36根线。
三、网络结构
第一部分是backbone + fpn模型,其次是head部分,我们把fcos的bbox分支替换为mask分支,仅仅是把channel=4替换为channel=n, 这里n=36,相当于36根射线的长度。同时我们提出了一种新的Polar Centerness 用来替换FCOS的bbox centerness。
四、Polar Segmentation 建模
- 输入一张原图后,经过网络可以得到中心点的位置和n(n=36 is best in our setting)根射线的距离。
- 根据角度和长度计算出轮廓上的这些点的坐标,从0°开始连接这些点,最后把联通区域内的区域当做实例分割的结果。
在实验中,我们以重心为基准,assign到feature map上,会在重心周围采样,作为正样本,别的地方当做负样本,训练方式和FCOS保持一致,采用Focal Loss, 在此,我们提出Polar CenterNess,用来选择出高质量的正样本,给低质量的正样本降低权重。
Polar CenterNess对应的就是FCOS中的center- ness,具体可以点击进去查看。
五、Polar centerness
d1~dn是n(36)根线的长度,如果中心点在图像中心,那么dmin→dmax,如下图所示。
六、 Polar IoU Loss
参考
https://zhuanlan.zhihu.com/p/84890413
说在最后
本文是在学习后,希望通过输出加深理解的文章,参考了很多地方,自己总结和梳理了一下,有错误烦请指正。