Classifying, Segmenting, and Tracking Object Instances in Video with Mask Propagation

利用掩码传播对视频中的对象实例进行分类、分割和跟踪 MASK

一项与 MaskTrack R-CNN[42] 类似的工作

Abstrac1t

我们介绍了一种同时对视频序列中的对象实例进行分类cls、分割segm和跟踪track的方法。 我们的方法，命名为MaskProp，通过添加一个掩码mask传播分支， 将每个视频帧中的帧级对象实例掩码传播到视频片段中的所有其他帧，从而使流行的Mask R-CNN适用于视频。
这允许我们的系统相对于在片段的中间帧中分割的对象实例来预测剪辑级别的实例轨迹。 为序列中的每一帧密集生成的片段级实例轨道最终被聚集以产生视频级对象实例分割segm和分类cls ** 我们的实验表明 我们的剪辑级实例分割使我们的方法对视频中的运动模糊和目标遮挡具有很强的鲁棒性 ** 。 MaskProp在YouTube-VIS数据集上实现了最好的报告准确性，表现优于ICCV 2019年视频实例分割挑战赛获胜者，尽管它要简单得多，而且使用的标签数据少了几个数量级(130万比1B图像和860K比14M边界框)。 项目页面位于：https://gberta.github.io/maskprop/.

1. Introduction

图一：在本文中，我们解决了视频实例分割问题，该问题需要对给定视频序列中的对象实例进行分类、分割和跟踪。
我们提出的Mask Propagation框架(MaskProp)为解决这一问题提供了一种简单而有效的方法。

在本文中，我们解决了最近引入的视频实例分割问题[42]。 此任务需要在每个帧中分割一组预定义对象类的所有实例，对它们进行分类，并在整个序列中链接各个实例。
近年来，卷积网络在静止图像目标检测[16，33，14，15]和分割[27，45，8，4]方面取得了显著的效果。 然而，将这些模型扩展到视频实例分割是具有挑战性的。 为了精确定位目标，这些方法必须在非常大的空间分辨率下操作。 因此，基于流行的ResNet-101或ResNet-152主干的检测器[17]在训练期间很少适合每个GPU一个以上的图像。 在视频实例分割的上下文中，这是有问题的，因为随着时间的推移跟踪对象需要同时分析多个视频帧。
要解决这个问题，可以降低输入的空间分辨率，并在GPU中容纳更多的视频帧。
但是，这样做通常会导致分段或检测性能显著下降。 或者，可以对各个帧执行高分辨率实例分割，然后在单独的后处理阶段临时链接分割。 但是，在十个不相交的两个步骤中执行实例分割和跟踪会产生不太理想的结果，因为这两个任务紧密交织在一起。 因此，关键的挑战是设计一个统一的模型，该模型可以跟踪视频中的对象，同时保持强大的检测精度。
目前，最好的视频实例分割方法是ICCV 2019挑战赛获胜者[28]。 它通过将视频实例分割分为四个问题来解决：1)检测，2)分类，3)分割，4)跟踪。 这四个问题使用多个现成的组件独立解决，并将各自的解决方案组合在一起，以适应视频实例分割任务。 然而，尽管性能有效，但这样的方法是不利的，因为它需要为四个任务中的每一个设计和调优单独的模型(或者，在某些情况下，需要一组模型)。 这使得这种方法既昂贵又麻烦。 另一方面，MaskTrack R-CNN[42]是一种端到端训练的简单统一方法，但其性能要低得多(30.3比44.8视频地图)。

表1：将我们的工作与以前的视频实例分割方法进行比较的表[42，28]。 ICCV 2019挑战赛优胜者[28]将视频实例分割分解为四个不同的问题，使用不同模型的系综独立解决每一个问题，然后将这些解决方案组合在一起。 相比之下，我们的方法依赖于经过端到端培训的单个统一模型。 尽管我们的模型更简单，并且使用了少几个数量级的预训练数据(1.3Mvs1B图像和860Kvs14M边界框)，但我们的模型实现了更高的精度。 此外，与MaskTrack R-CNN[42]相比，我们的工作产生了16.3%的MAP收益(46.6%比30.3%)
为了解决这些现有方法的缺点，我们引入了MaskProp，这是一个简单的掩码传播框架，用于同时分类、分割和跟踪视频中的对象实例。 我们的方法通过添加一