论文地址:YOLACT Real-time Instance Segmentation
这是一篇进行实例分割的论文
对于目前的实例分割方法,基本上都是在two-stage目标检测算法上加了一个instance segmentation的模块,就像mask-rcnn一样,但是由于对于feature 的多次repool,导致速度很慢,本文提出了一种新的基于one-stage目标检测算法上的改进
整体结构如上图所示,分为两个模块,Prototype Generation和Mask Coefficients
Prototype Generation
protonet的模块,其实就是类似于一个用FCN进行语义分割的模块,从P3得到feature map,然后进行上采样,得到k个类的mask,但是与语义分割的不同的地方在于,不使用mask loss,只在网络的最后进行assem的时候,才使用loss
Mask Coefficients
基于anchor的最终检测结果每个anchor有c个class的confidence、4个bounding box的regressor,本文的改进就是直接又加了一个结果,k个mask confidence对应protonet得到的每个prototype
因此,最终每个anchor进行4+c+k个预测
Mask Assembly