[1] Instances as Queries

Instances as Queries

0. 摘要

基于Query，由动态掩膜head平行监督驱动的实力分割方法。关键点：object query跨阶段一一对应；object query与mask ROI feature同阶段一一对应。

1. 介绍

目前SOTA实力分割方法主要基于高性能目标检测器，遵循多阶段设计方式。MASK R-CNN系列，ROI Pool、ROI Align、RPN、feature+FCN(mask)。
DETR基于query的目标检测方法。因此，想到MASK R-CNN + Query = Instance segmentation。
Contribution：
（1）End-to- End实例分割模型
（2）query object detection + instance segmentation
（3）VIS task performance

2. 相关工作

（1）Query based Methods。Object Detection:DETR、Deformable DETR、UP-DETR、ACT、TSP、Sparse R-CNN（R-CNN based）。Segmentation：VisTR、Max-DeepLab、Trackformer、Transtrack、AS-Net
（2）Object Detection：R-CNN（anchor based）、Center Net（anchor free）、DETR（query based）
（3）Instance Segmentation：Mask R-CNN、HTC、YOLACT、SOLO

3. QueryInst

3.1 Query Based目标检测

基于query的目标检测pipeline（Sparse R-CNN）：

3.2 Vanilla Mask Head

Vanilla mask head architecture design in Mask R-CNN。在目标检测的基础上添加mask generation module：

3.3 Dynamic Mask Head

在Vanilla Mask Head的基础上添加卷积层关联query与mask。

4. 思考

保证了query在不同stage间的一一队应和同stage内query与mask的一一对应，不同stage的mask之间没有提到需要保持一致性。是否可以考虑添加stage间的mask一致性？（参考HTC Mask information flow）