[深度学习从入门到女装]EmbedMask: Embedding Coupling for One-stage Instance Segmentation

论文地址：EmbedMask: Embedding Coupling for One-stage Instance Segmentation

 

一篇使用embedding方法进行one-stage instance segmentation的论文

 

文章中提到，目前进行instance segmentation的方法有两类：

第一类：two-stage方法，把instance segmentation作为一个额外的branch用在目标检测网络上，如mask rcnn，需要使用RoI pooling出来物体的大致RoI区域，然后对这个roi区域进行语义分割，得到最后的instance 分割结果

第二类：one-stage方法，相当于直接使用语义分割得到分割结果之后，在使用聚类或者一些手段将同一个instance的group到一起，得到最终instance的分割结果

 

本篇文章提出的方法EmbedMask属于第二种方法，使用两种embedding，一个embedding for pixels，一个embedding for instance proposals。

embedding这种方法经常用于自然语言处理方面，对词语的one-hot的编码不能有效得到各个有关联词之间的关系，因此需要将词语进行embedding到另一个维度的向量上，在这个空间中使得有关词语之间的表示向量之间的距离比较近，大概就是这个意思，感兴趣的可以自行搜索。

整个网络的结构如上图所示，还是一个FPN的结构，在分辨率最大的特征曾P3使用pixel的embedding，将每个pixel都embedding成一个D长度的向量，因此最后得到的是H*W*D的特征图

然后依次对每个特征图P3 P4 P5 P6 P7使用proposal head，也就是传统的目标检测的head，再其中的改进就是，对于每个proposal也都embedding成一个D长度的向量

使用一个margin来定义两个embedding之间的关联程度，如果小于这个embedding，就认为这个pixel和这个proposal是同一个instance

但是呢，文中提出使用一个人为定义的margin，会导致一些问题，因此呢，本文就提出了一个learnable margin，让网络自动学习每个proposal的margin，就如结果图中所示的proposal margin那条路径