Instance Segmentation入门总结

前一阵子好忙啊，好久没更新了。最近正好挖了新坑，来更新下。因为之前是做检测的，而目前课题顺道偏到了instance segmentation，这篇文章简单梳理一下从检测、分割结果到instance segmentation结果问题在哪里，以及已有的解决方案。

初见instance segmentation

分类、检测、分割是有天然的联系的：从目的来讲，三个任务都是为了正确的分类一张（或一部分）图像；进一步，检测和分割还共同负责定位任务。这些任务之间的不同是由于人在解决同一类问题时，对问题的描述方案不同导致的，是人为的。因而，可以找到一种共同的描述（或任务），即instance segmentation。那么，instance segmentation既然集成了上述3种任务，如果有上述3种任务的结果，是不是通过简单组合就可以得到instance segmentation的结果呢？显然是不行的。

 为什么不可以呢？或者说需要补全什么才可以得到instance segmentation的结果呢？我们先从每个任务分开来看，

• 检测：已经编码了空间上的相关性，但是缺少精细的定位（即segmentation mask）
• 分割：已经具备了精细的定位，但是缺少空间相关性

解释一下空间上的相关性，它对于检测和instance segmentation都非常重要。空间上的相关性即同一个像素由于处在物体的不同相对位置，它对于不同物体可能语义并不相同，如图中人的框虽然覆盖了部分羊，但是该框并不会分到羊这个类别，而是分到了人，正是由于空间上，羊没并有主导整个框。既然如此，解决方案似乎显而易见了，缺什么补什么就行了。

常用instance segmentation范例

依然沿着以上思路，精细定位比较容易补出来，那么空间相关性如何编码呢？与检测相似，可以采用roi pooling或position sensitive map解决。由于region是不规则的类似one－stage detection的anchor box的方案，就比较难实现了。我们可以开发出几种不同的解决方案：

• segmnetation-first：rank segmentat