【Paper Reading】论文阅读SOLO：Segmenting Objects by Location

论文下载地址：https://arxiv.org/pdf/1912.04488.pdf

论文中心

研究内容
一种新的、简洁的实例分割方法

贡献
将实例分割转化为了两个分类任务，超越了其他单阶段的实例分割算法

主要内容

相关工作
自上而下的模式和自下而上的模式的two-stage分割，以及one-stage分割，自上而下的实例分割是先生成了一个先验的边框，然后再进行实例分割。自下而上则是将像素点聚合成任意数量的物体实例，产生实例掩码。直接实例分割，近来的一些方法可以看作是“半直接”的方式。

SOLO原理
通过位置以及大小信息进行实例分割

模型结构
首先是特征提取，采用了特征金字塔的形式输出不同大小的特征图，之后作为输入进入了两个分支，一个对应类别预测，一个对应生成Mask。第一个分支：每个grid有C个维度，用来预测C个类别中的可能性，如果划分S x S个格子（类似于YOLO结构），那么输出是S x S x C，这种结果是基于每个grid属于不同实例的假设。第二个分支：每个正例的grid需要生成对应的Instance Mask，通过坐标（i，j）与位置一一对应了起来。最终将mask与grid对应，得到每个mask的信息，通过NMS处理得到最终结果。

问题与解决方案
对于定位问题位置信息比较重要，而FCN具有平移不变性：采用CoordConv，即在卷积的输入上增加了两层显示的坐标信息，使得网络对位置信息更加敏感；
通过Decoupled SOLO head，将通道数从S^2变为S+S，减少内存的消耗的同时精度也并未降低；
Dice Loss：解决分割区域小的问题

心得体会
1、语义分割只需要对语义类别进行分类即可，而实例分割需要通过位置以及大小信息进行分类：通过类比的方式将语义分割泛化到了实例分割中，语义分割中的语义类别是由人的定义（即不同种类语义类别不同）来区分的，由于卷积具有平移不变性，因此可以预测每个像素所在的物体的语义类别；而同样的，如何区分不同实例呢，这就可以通过位置以及形状进行分类。而这个对不同实例具有明确的划分，如果两个物体，位置与形状完全相同，则物体为同一个实例；而两个不同实例，位置或者形状将会不一致。因此将实例分割的问题转化为了如何利用位置和形状分割不同实例。

2、巧妙地采用了Decoupled SOLO head的方法将内存的消耗大大降低，类似于计算机存储系统的结构，但是对精度却不造成影响。

3、由于该问题需要图片的位置信息，因此将Conv改为了CoordConv，从而使网络对位置信息更加敏感。

4、为了对不同大小的对象进行操作，采用了FPN的方法进行多尺度的分割，从而大大提高了精度。

5、改变了Loss函数，针对该问题，特意选择了DIce Loss函数，从而解决了分割区域小的问题

6、将实例分割问题转化为了分类问题，

改进及展望

1、仅仅考虑位置和形状是不能够彻底解决重叠个体的区分（objects in crowd）

2、 把预测的mask用和其最大的IOU的GT代替之后，AP暴增，表明mask分支有很大的提升空间