Efficient Video Instance Segmentation via Tracklet Query and Proposal

摘要

VIS的目标是同时分类，分割，跟踪视频中的多个目标实例。当下clip-level的VIS输入一小段视频，因为利用了多帧的时序上下文信息。效果要明显优于frame-level VIS。但是目前大多数clip-level方法既不能端到端可学习，也不能实时。VIS transformer解决了上述两个问题，但由于其frame-wise的稠密注意力计算，训练时间太长；而且VisTR对多个视频段无法端到端可学习，需要手动的数据关联，将前后clips周的实例tracklet链接起来。本文的EfficientVIS训练推理都很高效，且可端到端学习。核心思想是“tracklet query and tracklet proposal that associate and segment RoIs across space and time by an interative query-video interaction". 并且进一步提出了correspondence学习，使相邻clips的tracklets链接可学习。

Tracklet Query and Proposal

用tracklet queries { q i } i = 1 N \{q_i\}_{i=1}^N {qi​}i=1N​和tracklet proposals { b i } i = 1 N \{b_i\}_{i=1}^N {bi​}i=1N​来共同表征一段视频中的每个物体实例。tracklet query $q_i\in R^{T\times C}$是通道数为C的embedding向量，tracklet proposal $b_i\in R^{T\times 4}$ 是个space-time矩形框。