Learning to Segment Every Thing算法笔记

论文：Learning to Segment Every Thing
链接：https://arxiv.org/abs/1711.10370

Instance segmentation算法几乎都是fully supervised training，监督学习就要求数据中的object都有instance mask标注，但是由于这种标注代价较大，因此难以将这类算法延伸至数千个object类的instance segmentation。而这篇文章要做的恰恰就是large-scale instance segmentation. 要怎么实现呢？容易想到和instance mask标注类似的bounding box标注，bounding box标注的数据在各种object detection算法中应用较为成熟，相比之下标注代价较低，而且已标注的数据较为丰富，于是: Is it possible to train high quality instance segmentation models without complete instance segmentation annotations for all categories?基于这个想法，这篇文章就提出了一种partially supervised instance segmentation task并且采用 transfer learning method 实现。具体而言就是采用混合的数据集，其中一小部分是instance mask标注的（比如COCO数据集，80 classes），其余都是采用bounding box标注（比如Visual Genome数据集，3000 classes），算法以这两种数据作为输入，通过在Mask RCNN中引入transfer learning method，将模型输出的bounding box信息transfer成instance mask，换句话说就是学习一个函数映射（transfer function），将bounding box信息映射成instance mask，从而达到segment instances of all object categories的目的，如Figure1所示。

前面提到作者是采用transfer learning方法来实现partially supervised instance segmentation，而transfer learning是基于Mas