【VIS】An Empirical Study of Detection-Based Video Instance Segmentation

本文ICCV workshop Large-Scale Video Object Segmentation Challenge中VIS第二名，王强组做的

Method

第一阶段都是先生成proposal，作者没有用MaskRCNN，用的HTC

第二阶段track，选择SiamMask并做一些改变。

如图，把两个SiamMask级联。

Stage1里的Box branch生成一个initial proposal of object‘s location，然后在Stage2生成一个mask。这个tracking mask用于找到和当前object有联系的proposal。具体的，会计算tracking mask和每个新的detection mask的IOU， 超过0.7认为是一个class，低于0.4认为不是一个。

第三阶段是Re-classification of object tracks，作者做了实验就是，如果直接把track中的所有detections的类别概率做平均，val效果会不好，会出现misclassified的情况，作者选择了一个后处理的方法来预测最终的class。用HRNet输入cropped images patches of the object along the track，来或者一个新的关于这个object分类概率的track。

 

缺点：后处理分类